@Kentaro23

Как получить значение из Hive при помощи Apache Spark?

При выполнении метода show в DataSet возникает исключение. Просьба помочь.
SparkSession spark = SparkSession
        .builder()
        .master("local")
        .appName("Java Spark Hive Example")
        .enableHiveSupport()
        .getOrCreate();

    Dataset<Row> df = spark.read()
        .format("jdbc")
        .option("url", "jdbc:hive2://hdp31-dev-03.dmp.test.com:2181,hdp31-dev-01.dmp.test.com:2181,hdp31-dev-02.dmp.test.com:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;principal=hive/_HOST@WE.TEST.COM")
        .option("dbtable", "dds_test.test")
        .option("user", "user")
        .option("password", "test")
        .option("driver", "org.apache.hive.jdbc.HiveDriver")
        .load();
for (String columnName: df.columns())
    df.select(columnName).show();

an exception occurs Caused by: org.apache.spark.sql.AnalysisException: cannot resolve 'test.repr' given input columns: [test.a_act_id, test.adr 'Project ['test.repr] +- Relation [test.repr#0,test.in_migration#1,test.iadr9#2,test.auto_email
  • Вопрос задан
  • 79 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы