Ошибка при попытке записать dataframe в базу данных из pyspark?

Question

[marselabdullin]

Я получаю json из HDFS, преобразую его и пытаюсь записать df в базу данных.

Ошибка:

at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:238)
at java.lang.Thread.run(Thread.java:748)

Spark version: 2.3.1 PySpark: 2.3.1

Code:

df.write \
    .jdbc("jdbc:clickhouse://adqm2.gu.local:8123", "esia_dev.bill_agg_test",
          properties={"user": "user", "password": "password"})

Code2

df.write \
    .format("jdbc") \
    .mode("append") \
    .option("driver", "ru.yandex.clickhouse.ClickHouseDriver") \
    .option("url", "jdbc:clickhouse://adqm2.gu.local:8123/esia_dev")\
    .option("driver", "ru.yandex.clickhouse.ClickHouseDriver")\
    .option("dbtable", "esia_dev.bill_agg_test")\
    .option("user", "user") \
    .option("password", "password")\
    .save()

*P.S Я получаю ту же самую ошибку при попытке выгрузить csv

Answer 1

[mayton2019]

Тут Spark не имеет никаких преимуществ перед обычным приложением. Скорее всего чтение из json не распараллелится. Такой он вредный json.

Попробуй просто выкачать json через hdfs tools и толкнуть его в кликхаус обычным java или python ротложннием. И jdbc лучше не использовать. Если у кликхауса есть другой API то бери его. Будет быстрее чем jdbc.

Comments

[marselabdullin]

mayton2019, Тут задача именно через спарк выкачать, json тут как тестовая заглушка. Получилось загрузить dataframe через либу clickhouse-driver (конвертируя spark в pandas, но кажется это костыль)
С джавой я я так понимаю какие-то внутренние конфликты конфигов. Я все драйвера перепробовал