Как ставить задачи в очередь, а не отменять их в celery?

Question

[Денис]

У меня есть приложение на fastapi и к нему подключен celery (с redis).
Я отправляю файлы на обработку, но если я отправляю несколько файлов, которые в сумме превышают лимиты моего сервера, то задачи в celery отменяются (становятся FAILURE), а я хочу чтоб они помешались в очередь и выполнялись, когда другие задачи освободятся, можно ли это как-то реализовать?

Пример:
Я отправляю 2 задачи, они нормально выполняются, а если я отправляю еще 2 задачи, то предыдущие отменяются, а 2 последние остаются.

Answer 1

[Илья Король]

Я не думаю, что задачи отменяются из-за проблем в Celery. Я думаю, не установлено ограничение на количество выполняющихся задач одновременно, из-за чего происходит переполнение памяти, из-за чего сами процессы просто падают. Попробуйте уменьшить количество воркеров в настройках запуска Celery