Запускаю spark-job на Kubernetes кластере. Всё ок, но хотелось бы видеть историю всех запусков и другие вещи в Spark UI интерфейсе.
Я могу прокинуть порт на котором запустился spark-driver и там посмотреть итоги выполнения, и так д..
Но не хочется для каждой джобы идти и смотреть на под, а что если одновременно несколько драйверов запустится?
Хотелось бы всё видеть в одном интерфейсе. Для этого и предусмотрен Spark UI History Server. Ноо вообще не могу прогуглить, ничего почти. Как это всё настроить.
Кто может подсказать, помочь, у кого есть соответствующий опыт?
Сложный
Средний
