Celery выполняет одну задачу несколькими воркерами в один момент времени. Корректное ли это поведение?

Question

[MaxIbragimov]

Есть celery задача, которая выгружает данные из БД в xlsx файл. Если выгружать малое количество данных, то задача выполняется в одном процессе одним воркером, но если данных много, то задача выполняется долго и, что интересно, одна задача (с одним id) выполняется разными воркерами в разных процессах (прикрепил скрин из flower, для наглядности).


Хотелось бы понять, корректное это поведение и в чем тут подводные камни могут быть? Просто в моем понимании, если есть одна задача, то она должна выполняться одним воркером.

Comments

[MaxIbragimov]

У меня для celery стоят следующие настройки:

TASK_ACKS_LATE = True
TASK_TRACK_STARTED = True
WORKER_MAX_TASKS_PER_CHILD = 10

Раньше в параметрах запуска celery был параметр -O fair, который был отброшен давно, по неизвестной причине. Сейчас когда столкнулись с действительно долгими задачами, проявилось некорректное поведение. Ещё видимо необходимо установить параметр worker_prefetch_multiplier = 1

Попробую установить эти настройки и провести тесты. В любом случае прокомментирую успешно или нет

Смежные вопросы со StackOverflow:
- https://stackoverflow.com/questions/16040039/under...
- https://stackoverflow.com/questions/24519559/celer...

Answer 1

[Владимир Куц]

Не корректно. Лочьте повторный запуск, если данная задача уже запущена.

Comments

[MaxIbragimov]

Спасибо за ответ! Благодаря вам понял в какую сторону смотреть