StopDesign
@StopDesign

Как запустить в celery множество параллельных тасков и не умереть?

Есть сервис мониторинга на Django. Он что-то там проверяет по расписанию. Проверки запускаются через celery. Проблема возникает в моменты, когда многие цели одновременно зависают. У задач celery есть таймаут 30 секунд. При проверках раз в пять минут достаточно десятка зависших тасков, чтобы забить всю очередь.

Запускать много воркеров celery мы не можем, т.к. система с пятью воркерами уже не влезает на виртуалку с 1 ГБ памяти.

Как можно решить эту проблему? Как-то радикально снизить потребление памяти воркерами?
  • Вопрос задан
  • 544 просмотра
Пригласить эксперта
Ответы на вопрос 1
urtow
@urtow
*nix, python, QA, bagpipe, folk music
Смотреть почему таски зависают и решать источник проблемы, а не последствия.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы