Как запустить dag airflow по сообщению в kafka?

Question

[vitafon007]

прошу поделиться примером для решения задачи:
есть несколько машин с воркерами airflow, необходимо по сообщению из кафки, поставить dag в очередь выполнения, чтобы свободная машина забрала его на выполнение.

Comments

[fenrir]

Где код с вашим решением?
В общем виде для решения есть пакет apache-airflow-providers-apache-kafka, как использовать провайдеры описано в документации.