Как я могу подключиться к локально развернутому спарку через airflow?

Question

[marselabdullin]

Я пытаюсь запустить джобу спарка через эирфлоу, используя следующий код:

spark = (SparkSession
                .builder
                .master("spark://172.22.102.229:7077")
                .appName("Test")
                .getOrCreate())

Но получаю ошибку

py4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
    : java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem

Когда я меняю .master("spark://172.22.102.229:7077") на.master("local") это работает

Спарк развернут и доступен по адресу http://172.22.102.229:4040/

Answer 1

[marselabdullin]

export SPARK_MASTER_HOST=<ip>
export SPARK_LOCAL_HOST=<ip>

Answer 2

[mayton2019]

Попробуй сначала подключись через
spark-shell --master ....
Это будет доказательством что порт доступен по сети и ты все правильно сконфигурил.

Comments

[marselabdullin]

mayton2019 странно при попытке подключиться с такими настройками
spark-shell --master spark://172.22.102.229:4040
пишет
Too large frame: 5211883372140375593
Когда набираю просто spark-shell, он разворачивает по тому же адресу и все ок

[mayton2019]

marselabdullin, ты не тот порт указал. 4040 - это порт веб интерфейса. А нужно порт самого драйвера.

[marselabdullin]

mayton2019 Другие порты тоже пробовал - 7077, 30688. Connection refused. Может что-то недонастроил

[mayton2019]

marselabdullin, больше идей нет. Нужно понять как ты чего настраивал. По какой инструкции.

[marselabdullin]

mayton2019, устанавливал с оф сайта
Пути:

export SPARK_HOME=/opt/spark/spark-3.3.1-bin-hadoop3
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
export JAVA_HOME='/usr/lib/jvm/java-8-openjdk-amd64'
export PATH=$PATH:$JAVA_HOME/bin

В UI не выводит spark-master, хотя я его запускал(sudo ./sbin/start-master.sh)

А в переменных стоит localhost[*]