Резонно ли использовать один Celery для множества приложений?

Question

[Данил Горев]

Есть поднятое Django приложение, которое использует Celery как вспомогательную зависимость. Celery поднимается как отдельный контейнер того же образа, что и Django-приложение. Как брокер используется Redis.

При добавлении некоторой микросервисности в проекте появилась необходимость использовать Celery отдельно от Django-сервиса. Можно ли это сделать используя только один поднятый контейнер Celery с несколькими воркерами? Или нужно создавать отдельный контейнер с Celery для каждого сервиса?

Comments

[Anton Kuzmichev]

Так вопрос в чём: можно (в смысле вообще физически) или резонно (имеет ли смысл, экономический, например)?

[Данил Горев]

Вопрос был в том, можно ли вообще (физически). Как я понимаю Celery регистрирует таски во время запуска исходя из выбранной директории, в которой он будет искать таски. В моём случае таски разбросаны по разным сервисным приложениям и Celery их не регистрирует (следовательно не может их запустить). Я впервые сталкиваюсь с Celery и хотел бы понять, можно ли использовать единый контейнер с Celery для обеспечения общей очереди задач на всех микросервисах?

Answer 1

[Anton Kuzmichev]

Celery - это штука, которая умеет выполнять некоторые, помеченные вами специальным декоратором функции, "где-то там", асинхронно, в N единиц параллельности, и т.д. Но ключевой момент в кодовой базе. Если вы можете выделить код заданий в отдельный проект, так, что эти функции-задания будут работать - смело прикручивайте к нему Celery, оборачивайте в контейнер - и вот у вас микросервис заданий.

Однако лично я с таким не сталкивался, обычно кодовая база одна. В монолите на джанге ли, или в сервисе на фласке - задания писались мной так или иначе как часть одного или нескольких сервисов, и использовался код проекта: модели БД, либы.

Вполне реален и нормален сценарий, когда вы монолит подробили, к примеру, на 5 микросервисов. Задания также растеклись по ним, оказавшись в 3 из 5 сервисов. Значит, к тем сервисам, в который есть задания, нужно рядом поднимать контейнера на тех же образах, уже в качестве воркеров заданий.