Есть ли готовый фреймворк для организации конвейера очередей?

Question

[Илья]

Здравствуйте!
Прошу подсказать готовый фреймворк для организации конвейера очередей, желательно на основе RabbitMQ

Есть проект, в несколько шагов обрабатывающий массив данных при помощи модулей, завернутых в docker контейнеры. При выполненни шага самописный менеджер создает очередь в RabbitMQ, поднимает контейнер(ы) и передает им параметры очереди для соединения. После этого контейнеры обрабатывают задачи в очереди. Как только задачи в очереди заканчиваются, происходит переход к следующему шагу.
Такая архитектура существенно замедляет времени прохождения материалом всей цепочки обработки так как в одном шаге может быть довольно большое количество задач и пока все они не выполнятся переход к следующему шагу не происходит. Я ищу готовый фреймворк, в котором можно было бы настроить правила перекладывания задач из одной очереди в другой и их удаления.

Answer 1

[Dimonchik]

www.celeryproject.org