@marselabdullin

Как я могу подключиться к локально развернутому спарку через airflow?

Я пытаюсь запустить джобу спарка через эирфлоу, используя следующий код:

spark = (SparkSession
                .builder
                .master("spark://172.22.102.229:7077")
                .appName("Test")
                .getOrCreate())


Но получаю ошибку

py4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
    : java.lang.IllegalArgumentException: requirement failed: Can only call getServletHandlers on a running MetricsSystem


Когда я меняю .master("spark://172.22.102.229:7077") на.master("local") это работает

Спарк развернут и доступен по адресу http://172.22.102.229:4040/
  • Вопрос задан
  • 278 просмотров
Решения вопроса 1
@marselabdullin Автор вопроса
export SPARK_MASTER_HOST=<ip>
export SPARK_LOCAL_HOST=<ip>
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 1
mayton2019
@mayton2019
Bigdata Engineer
Попробуй сначала подключись через
spark-shell --master ....
Это будет доказательством что порт доступен по сети и ты все правильно сконфигурил.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы