Crontab и killall celery. Как заставить работать?

Question

[alex_6zx]

Нужно с определённой периодичностью убивать процессы celery.
Так выглядят сами процессы:


Пробовал так:

* */1 * * * bash /home/krakenadmin79/kill_celery.sh  &>/dev/null

и так

в скрипте было
killall celery

скрипту давал права через chmod +x /home/krakenadmin79/kill_celery.sh

рестарт cron делал
/etc/init.d/cron restart

ubuntu 18 на сервере установлена.

Comments

[Sand]

А почему, собственно, Вы решили таким образом завершать эти процессы? Может покопать в сторону источника проблемы?

Answer 1

[Andrey Shatokhin]

Замените в скрипте killall на /usr/bin/killall
Ну или разберитесь с PATH в кроне.

Answer 2

[Сергей Тихонов]

https://docs.celeryproject.org/en/stable/userguide...
https://docs.celeryproject.org/en/stable/userguide...
Можно и по числу задач и по памяти ротировать автоматически.
Не уверен, что код абсолютно всех задач в проекте готов к убийству в произвольный момент времени

Comments

[alex_6zx]

как это проверить ?

[Сергей Тихонов]

/offtop/ А зачем?

Начните того, что любой побочный эффект от задач Celery должен быть транзакционным либо идемпотентным. Изменяете что-то в БД - транзакция. Пишете что-то в файл - tmp + атомарное переименование с блокировкой. Отправляете HTTP-запрос - следите, чтобы недоотправленное тело не было где-то сохранено. Любое изменение хотя бы чего-то - не должно приводить к ошибкам, если не было завершено до конца. Вам нужен такой уровень паранои по всему существующему проекту и в будущих разработках? Гарантирую, что не нужно.

[alex_6zx]

Как мне объясняют проблема в том что падает процесс супрвизора.
Мультипроцесоринг не корректно отрабатывает и дочерние процессы не уничтожаются

[Сергей Тихонов]

У Celery свой собственный мультипроцессинг, billliard называется. Стоит копать в сторону совместного использования нативного и вот этого вот. Всё остальное с убийством детенышей - это костыли, которые ничего хорошего не сулят.