Как получить значение из Hive при помощи Apache Spark?

Question

[Kentaro23]

При выполнении метода show в DataSet возникает исключение. Просьба помочь.

SparkSession spark = SparkSession
        .builder()
        .master("local")
        .appName("Java Spark Hive Example")
        .enableHiveSupport()
        .getOrCreate();

    Dataset<Row> df = spark.read()
        .format("jdbc")
        .option("url", "jdbc:hive2://hdp31-dev-03.dmp.test.com:2181,hdp31-dev-01.dmp.test.com:2181,hdp31-dev-02.dmp.test.com:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;principal=hive/[e-mail]")
        .option("dbtable", "dds_test.test")
        .option("user", "user")
        .option("password", "test")
        .option("driver", "org.apache.hive.jdbc.HiveDriver")
        .load();
for (String columnName: df.columns())
    df.select(columnName).show();

an exception occurs Caused by: org.apache.spark.sql.AnalysisException: cannot resolve 'test.repr' given input columns: [test.a_act_id, test.adr 'Project ['test.repr] +- Relation [test.repr#0,test.in_migration#1,test.iadr9#2,test.auto_email

Comments

[mayton2019]

Что у тебя покажет
df.printSchema()
?

[Kentaro23]

mayton2019, root |-- test.repr: string (nullable = true) |-- test.in_migration: decimal(1,0) (nullable = true) |-- test.iadr9: string (nullable = true) |-- test.auto_email: string (nullable = true) |-- test.profit_tp: decimal(5,0) (nullable = true) |-- test.edo_name3: string (nullable = true) |-- test.auto_fax: string (nullable = true) |-- test.inv_mail: string (nullable = true) |-- test.custmail: string (nullable = true) ....

[mayton2019]

Странно. Кажется что вот до этой строки у тебя все было нормально.
for (String columnName: df.columns())

А что в ней происходит? Я вот для того чтобы получить схему вызываю метод схема.
df.schema()
P.S. Еще мне трудно синхронизировать свои знания с этим сорсом. Я пишу на Scala/Python а ты выбрал не самый удобный язык.

[Kentaro23]

mayton2019, Я прочитал что надо экранировать если есть символ . (df.select("" + columnName + "").show();)https://stackoverflow.com/questions/49032451/dataf...
но теперь другая проблема с приведением типов, decimal не конвертируется в double

df = df.withColumn("" + columnName + "", df.col("" + columnName + "").cast("double"));
df.select("" + columnName + "").show();

Ошибка org.apache.hive.jdbc.HiveBaseResultSet.getBigDecimal(HiveBaseResultSet.java:137) ~[hive-jdbc-3.1.2.jar:3.1.2]

[mayton2019]

Я не понимаю что ты щас делаешь.

У тебя была ошибка на первом скрине
cannot resolve 'test.repr'
Нет поля.

Я тебе предложил посмотреть схему твоего датафрейма чтоб узнать какие есть поля. Вместо этого ты пошел в стековер
и написал безсмысленный код где ты пустые строки с чем-то конкатенируешь.

[Kentaro23]

mayton2019, Такого метода shema() в DataSet нету, есть только printSchema() она возвращает root |-- test.repr: string (nullable = true) |-- test.in_migration: decimal(1,0) (nullable = true) |-- test.iadr9: string (nullable = true) |-- test.auto_email: string (nullable = true) |-- test.profit_tp: decimal(5,0) (nullable = true) |-- test.edo_name3: string (nullable = true) |-- test.auto_fax: string (nullable = true) |-- test.inv_mail: string (nullable = true) |-- test.custmail: string (nullable = true)

[mayton2019]

Смотри. Есть какая-то невнятная проблема на стороне hive. Толи нет таких полей толи они пишутся как-то по другому. Тебе надо взять hive-client и подключится и посмотреть какие есть таблицы и поля.

Вот пример подключения через утилиту beeline.

https://cwiki.apache.org/confluence/display/Hive/H...