Как из спарка (apache spark) на java подключаться к MS SQL Server?

Question

[Руслан]

Здравствуйте!
Подскажите, пожалуйста, в чем проблема?

Есть код на java, который создает сессию для спарка, конфигурирует ее и пытается из спарка обратиться к БД MS SQL Server:

SparkConf conf = new SparkConf().setMaster("local[4]").setAppName("Word Count");
conf.set("spark.driver.extraClassPath","C:\\temp\\sqljdbc42.jar");//по этому пути лежит драйвер
conf.set("spark.executor.extraClassPath","C:\\temp\\sqljdbc42.jar");

String url = "jdbc:sqlserver://10.11.0.2\\sql2012;database=xyz;user=test;password=test";
Properties p =new Properties();
Dataset df2 = spark.read().jdbc(url,"abtests",p);
df2.show();

В результате выполнения появляется ошибка:
"Exception in thread "main" java.sql.SQLException: No suitable driver"

код выполняется на Windows 10 x64, специально spark не устанавливался, в коде выполняется обращение к "локальному" спарку, который жлементарнце операции, типа чтения файлов и построение DataFrame'ов успешно выполняется.

Вероятно, я делаю что-то не так:
- не туда положил драйвер
- драйвер оказался не тот
- неправильно сконфигурировал сессию спарка

Comments

[Сергей Горностаев]

Какой командой этот код запускаете?

[Руслан]

Сергей Горностаев: просто в IntelliJ IDEA нажимаю RUN

[Сергей Горностаев]

Руслан: тогда попробуйте в настройках проекта добавить jar-файл jdbc-драйвера в Libraries.

[Руслан]

О! заработало!
Спасибо!
Интересно, если такую программу запустить на кластере из нескольких узлов, то классы из этой библиотеки (или jar файл как то по другому называются), растеражируются по всем узлам или нужно будет их как-то настраивать на каждом узле?

надо учить java...

[Сергей Горностаев]

Руслан: обычно jar'ник jdbc-драйверов складывают в classpath на каждом узле.

[Руслан]

Сергей Горностаев: Спасибо!