Как лучше загружать данные из RabbitMQ в проекте на Django?

Question

[Сергей]

У меня есть проект на Django и нужно загружать данные из RabbitMQ.
У меня есть несколько вариантов как это сделать:
- Добавить Celery и в отдельной таске слушать Rabbit.
Тут получается, что таска Celery должна стартовать при запуске проекте.
Но как ее потом администрировать не совсем понятно, ведь Django запускается через gunicorn и проект может не перезапускаться неделями.
- Добавить management commands в Django и запускать её при старте Django, но встает такой-же вопрос про администрирование этой команды.
- Добавить скрипт в cron и запускать раз минуту, вроде лучше, но минуту ждать не всегда есть возможность.
Посоветуйте, как лучше организовать загрузку из Rabbit.

Comments

[Владимир Куц]

А периодические задачи Celery - не подходят разве?
https://docs.celeryq.dev/en/stable/userguide/perio...

[Сергей]

У периодических задач есть некоторый таймаут, а хотелось бы в онлайне загружать данные.

[d'Ivan]

Сергей, опиши подробнее в чем проблема с периодическими задачами и о том какова должна быть хронология действий

[Сергей]

Проблема в том, что нужно забирать данные из rabbit mq, и хотелось бы это делать в онлайне.

[d'Ivan]

Сергей,

хотелось бы это делать в онлайне.

я не понимаю этой фразы. Сообщение может прийти через 1 мс или через час. Нельзя знать заранее когда (получатель и не должен знать). И когда оно приходит (какой-то сервис отправил), оно будет взято обработчиком и станет обрабатываться.