Как скачать файл по ftp?

AVKor, нет, то есть, просто долгая загрузка, а потом ошибка Connection timed out,

Как скачать файл по ftp?

в чем может быть проблема если все равно пишет ошибку Connection timed out?

В чем ошибка (пишет что return), но не могу понять где?

так а что мне можно сделать, чтобы сделать return именно в этом месте?

if i in my_dict:
        my_dict[i] += 1
        return True

В чем ошибка (пишет что return), но не могу понять где?

так а что мне можно сделать, чтобы сделать return именно в этом месте?

if i in my_dict:
        my_dict[i] += 1
        return True

По каким столбцам фильтровать данные, которые уже были загружены и грузить только новые данные?

Akina, У меня есть еще один вопрос. Если данные могут меняться на стороне источника(например: я загрузил какие то данные, но через месяц в бд откуда я эти данные брал, изменились несколько строк), то какие способы или подходы можно применить, чтобы понять какие данные изменились и изменить их и у себя?

По каким столбцам фильтровать данные, которые уже были загружены и грузить только новые данные?

rrambo, У меня есть еще один вопрос. Если данные могут меняться на стороне источника(например: я загрузил какие то данные, но через месяц в бд откуда я эти данные брал, изменились несколько строк), то какие способы есть, чтобы понять какие данные изменились и изменить их и у себя?

Как распарсить строку?

Akina, Да я это так просто написал, просто, долго объяснять что вообще на pyspark sql пишу, а это просто некая эмуляция sql синтаксиса и никакой версии сказать не могу, так как это вообще не sql и не бд. За решение, спасибо

Как распарсить строку?

Slava Rozhnev, Microsoft SQL Server 4.2

Как распарсить строку?

Adamos, SELECT DISTINCT выводит уникальные значени, а мне наоборот нужно размножить строку

Как в select добавить нумерацию результатов?

FanatPHP, Apache Spark это вообще не бд, а фреймворк для распределенной обработки данных. А pyspark это модуль в python, благодаря которму, можно пользоваться этой системой spark в языке питон. A pyspark sql это тоже модь в питоне, благодаря которому, я могу писать sql запросы, а эти sql запросы компилируются в код на spark, а потом этот код обрабатывает данные распределенно. НО важно понимать, что ни pyspark sql, ни pyspark ни Apache Spark это вообще не БД. Это просто технология которая позволяет обрабатывать данные распределенно (то есть, на разных нодах кластера в параллеле). А потом после обработки данных я, например, могу сохранить обработанные данные в файл паркет или csv. НО ЭТО НЕ БД даже близко. Максимум можно поговорить про метастор, но это тоже не бд, или про HIVE, но это тоже не Бд.

https://spark.apache.org/docs/2.1.0/api/python/pys...

Спасибо за бесполезные комментарии и за ваше время

Как в select добавить нумерацию результатов?

FanatPHP, такого тега нету, и да и здесь не нужен pyspark sql разработчик (кстати, на хабр их почти нету), достаточно знания sql

Как в select добавить нумерацию результатов?

FanatPHP, можно и так сказать

Как в select добавить нумерацию результатов?

FanatPHP, pyspark sql

Как в select добавить нумерацию результатов?

Slava Rozhnev,
Нужно указывать, вот ошибка

AnalysisException: Window function row_number() requires window to be ordered, please add ORDER BY clause. For example SELECT row_number()(value_expr) OVER (PARTITION BY window_partition ORDER BY window_ordering) from table

Как используя такую конструкцию .* в sql можно дать название подстолбцам, которые будут выведены?

но я не могу знать название подстолбцов

Как распарсить первый 'слой' строки 'struct'?

Dr. Bacon, нет, пробовал, но это не подойдет, так как я в итоге работаю именно со спарковским датафреймом

Как распарсить первый 'слой' строки 'struct'?

Dr. Bacon, Часто стоит задача распарсить вложенный JSON файл. В основном работаем со спарком, со спарком это нужно записать в датафрейм и дальше если есть вложеный столбец, то его распарсить можно вот так nested_column.*

nested_column.* это просто выводит все подстолбцы столбца nested_column и в принципе это работает

НО столбцов может быть 50 и даже 150 поэтому по-любому будут встречаться столбцы с одинаковым названием, поэтому .* не подходит, нужно знать название каждого подстолбца, чтобы потом поменять это название

Ну а вообще, я загорелся идеей написать скрипт, который будет автоматизировать это. И больше мне не придется парсить json файлы

Как распарсить первый 'слой' строки 'struct'?

Алан Гибизов,

def get_query(tuple):
  result = f'{tuple[0]}.*'
  return result

columns = []
for i in df.dtypes:
  if 'struct' in i[1][:6]:
    columns.append(get_query(i))
  else:
     columns.append(i[0])

# в итоге этого кода columns у меня равен ['food.*', 'id', 'name', 'ppu', 'topping', 'type']
# но смог реализовать только возврат food.* , а мне вместо этого  нужно 'food.Milk', 'food.Oil', 'food.batter' 
# Но это просто пример моего кода, здесь не реализован функцияонал по получению из строки 'struct<Milk:array<struct<id:string,type:string>>,Oil:string,batter:array<struct<id:string,type:string>>>'  распарсить на [Milk,  Oil, batter,] того результата который мне нужен
# ничего толкового так и не смог написать

Как распарсить вложенный JSON с помощью Spark.sql, Spark.Dataframe или azure data factory так, чтобы у меня была таблица в реляционном виде?

mletov, Добрый день. Можем созвониться в скайпе буквально на 3 минуты? вот мой скайп: live:.cid.f650152fd70693da

Очень нужен хоть какой-то совет чтобы хотя бы понимать в каком направлении думать
Схема которая прикреплена в вопросе это просто пример, это не мой Json

Как написать правильный sql запрос для фильтрации и вывода фильмов?

Да, но мне нужно чтобы это работало при любых условиях, то есть должна быть возможность передавать как один жанр так и несколько через |