@DenisShahbazyan

Как ставить задачи в очередь, а не отменять их в celery?

У меня есть приложение на fastapi и к нему подключен celery (с redis).
Я отправляю файлы на обработку, но если я отправляю несколько файлов, которые в сумме превышают лимиты моего сервера, то задачи в celery отменяются (становятся FAILURE), а я хочу чтоб они помешались в очередь и выполнялись, когда другие задачи освободятся, можно ли это как-то реализовать?

Пример:
Я отправляю 2 задачи, они нормально выполняются, а если я отправляю еще 2 задачи, то предыдущие отменяются, а 2 последние остаются.
66b3d463ee513285764535.png
  • Вопрос задан
  • 63 просмотра
Пригласить эксперта
Ответы на вопрос 1
welcome32
@welcome32
Backend Python developer
Я не думаю, что задачи отменяются из-за проблем в Celery. Я думаю, не установлено ограничение на количество выполняющихся задач одновременно, из-за чего происходит переполнение памяти, из-за чего сами процессы просто падают. Попробуйте уменьшить количество воркеров в настройках запуска Celery
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы