Spark Master as Driver in Kubernetes Cluster?

Question

[web_dev]

Здравствуйте, подскажите пожалуйста, кто как ухищряется по запуску Spark в Kubernetes?
Собственно говоря, пока не нагуглил решения, может кто что подскажет..
Хочется в Kubernetes иметь под со Spark-Master был бы одновременно и Driver.

Из которого запускался бы spark-submit и соответственно мониторилась бы джоба и была сразу видна в Web UI а потом и в History Server-е.

Кто запускал Spark в Kubernetes (spark submit on k8s), тот знает, что Kubernetes автоматически создаёт драйвер и екзекюторы, Драйвер после окончания работы екзекьюторов перестаёт быть в статусе Running и соответственно WEB UI больше не доступен.

Я знаю, что можно установить Spark как Standalone Cluster: Master(Pod) + Workers(Pod). Но это немного другой workflow.

Такое возможно? У кого какие решения с Kubernetes?
Спасибо за идеи, советы.

Answer 1

[sergeysamsonov]

Добрый день!

Я бы предложил использовать Kubernetes Operator.

Этот паттерн предполагает управление жизненным циклом Spark-приложения непосредственно в кластере K8s.

Более подробно о нашем опыте можете прочитать в статье.

Comments

[web_dev]

Спасибо, да уже много времени прошло. ))) Приблизительно к такому же результату пришёл.