Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
nano_e_t_4
@nano_e_t_4
Apache Spark
Как мониторить спарк?
Всем драсьте
Подскажите кто знает, как мониторить спарк, без использования сторонних пакетов\движков
Вопрос задан
более трёх лет назад
80 просмотров
Комментировать
Подписаться
1
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Решения вопроса
0
Пригласить эксперта
Ответы на вопрос
1
magazovski
@magazovski
Что вы вкладываете в слово "мониторить" ?
Логи можно смотреть в Spark History Server
Там же базовую инфу по таймингам
Пока приложение работает, он поднимает SparkUI, там тоже можно что то смотреть
Ответ написан
более трёх лет назад
Комментировать
Нравится
Комментировать
Facebook
Вконтакте
Twitter
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
Java
+1 ещё
Простой
Как исправить ошибку компиляции spark?
1 подписчик
05 янв.
59 просмотров
0
ответов
Apache Spark
Средний
Как исправить ошибку при подключении к hivemetatore из spark?
1 подписчик
04 янв.
11 просмотров
0
ответов
Hadoop
+1 ещё
Средний
Как подключиться к удалённому hdfs из pyspark?
1 подписчик
03 янв.
14 просмотров
0
ответов
Базы данных
+2 ещё
Сложный
System Design задержка ETL перед записью в базу, (Kafka, Spark) как?
1 подписчик
более двух лет назад
92 просмотра
1
ответ
Java
+1 ещё
Средний
Как получить значение из Hive при помощи Apache Spark?
1 подписчик
более двух лет назад
84 просмотра
0
ответов
Hadoop
+1 ещё
Средний
Как подключиться через airflow к hdfs, развернутой в docker?
1 подписчик
более двух лет назад
101 просмотр
0
ответов
Apache Spark
Средний
Как я могу подключиться к локально развернутому спарку через airflow?
1 подписчик
более двух лет назад
420 просмотров
2
ответа
Apache Spark
Сложный
Ошибка при попытке записать dataframe в базу данных из pyspark?
1 подписчик
более двух лет назад
111 просмотров
1
ответ
Python
+2 ещё
Простой
Как запуститьpyspark functions lag?
1 подписчик
более двух лет назад
50 просмотров
1
ответ
Scala
+1 ещё
Простой
Scala Spark Missing type parameter for List / Почему возникает данная ошибка?
1 подписчик
более двух лет назад
94 просмотра
2
ответа
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
Data Engineer\ Разработчик БД SQL
Data World
•
Санкт-Петербург
До 230 000 ₽
ML-инженер (удаленно)
Wanted.
•
Санкт-Петербург
До 200 000 ₽
Java разработчик
SENSE
До 500 000 ₽
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама