Как лучше реализовать длительные периодические задачи?

Question

[menrui]

Задача состоит в том, что мне надо на бэкенде по запросу создавать задачу которая должна вызываться раз в 2-3 секунды и жить достаточно долго(недели-месяцы). Так как у celery не встроенного interval планировщика который бы мог динамически в рантайме создавать таски, у меня возник вопрос, как правильно создать такую задачу. Создать одни таском и зациклить его, но мне кажется будет проблематично поддерживать его долго время + логировать, либо как-то отдельно создавать какой-то планировщик(?) который уже и будет запускать celery задачи.

Comments

[mayton2019]

В чем сомнения? В том что процесс упадет и ты не будешь знать об этом?

[Everything_is_bad]

по запросу создавать задачу которая должна вызываться раз в 2-3 секунды и жить достаточно долго(недели-месяцы).

делай задачи как отдельный процесс в виде systemd сервиса, созданием и удалением которых будешь управлять из своего бека

Answer 1

[Сергей Горностаев]

Так как у celery не встроенного interval планировщика который бы мог динамически в рантайме создавать таски

А это что?

Comments

[menrui]

Насколько я понял, эта задачи добавляются только при старте приложения

[Сергей Горностаев]

menrui, нет. Можно в конфиге прописать, чтобы они создавались сразу при запуске Celery, а можно в любой момент в процессе работы создать из кода. Хоть я этим давно занимался, но точно помню, что такое делал.

Answer 2

[Drno]

systemD service

Comments

[menrui]

Мне нужно распределение нагрузки между серверами

[Drno]

menrui, пишешь скрипт. его пихаешь в systemD на главном сервере.
дальше он уже сам должен разобраться по идее

Смысл в том,что бы запустить не python3 script.py, а прописать это в systemD сервис

Для примера вот так сделан скрипт с впн на сильно старых машинах у меня, т.к. сам sstp не умеет в переподключение и это зашито в bash скрипт

spoiler

[Unit]
Description=Start SSTP VPN
After=network.target

[Service]
ExecStart=/root/vpn.sh
Restart=on-failure
RestartSec=10
StartLimitIntervalSec=0
StartLimitBurst=0
[Install]
WantedBy=multi-user.target

Answer 3

[Алексей Черемисин]

Если celery кажется монстром, то рекомендую поглазеть на https://python-rq.org/