На одном сервере два сайта. Обоим нужна celery. Как настроить?

Question

[skorpix]

Доброго времени суток.
Есть два независимых друг от друга сайта на django. Оба запущены на одном сервере, но под разными юзерами. Как настроить celery на каждом проекте? Нужно создать две бд в redis? Или запустить два процесса на разных портах? Или что? Я в этом мало понимаю и пока что плохо улавливаю суть, что для чего нужно.

P.S. я один раз пытался запустить два celery, но задачи как-то странно выполнялись, как будто задачи с одного сайта выполнялись на бд второго сайта.

Answer 1

[GoTLiuM InSPiRiT]

project #1
BROKER_URL = 'redis://localhost:6379/0'

project #2
BROKER_URL = 'redis://localhost:6379/1'

Answer 2

[andrewshkovskii]

1. Правильно настроить celery для django
2. Использовать redis для хранения задач в celery (нет никакой необходимости использовать sql БД для хранения очередей celery)
3. Использовать supervisor для запуска celery.

Покажите, для начала, конфигурации для celery для двух ваших проектов.

Answer 3

[skorpix]

andrewshkovskii настройки есть для первого сайта.

BROKER_URL = 'redis://localhost:6379/0'
CELERYD_CONCURRENCY = 8
CELERYD_MAX_TASKS_PER_CHILD = 100
CELERY_EMAIL_TASK_CONFIG = {
    'rate_limit': '6/m'
}

celery запускается через supervisor

[program:celery]
command=/home/%(user)s/.env/bin/python /home/%(user)s/current/manage.py celery worker -l INFO
directory=/home/%(user)s/current
environment=DJANGO_SETTINGS_MODULE="project.settings.%(environment)s"
autostart=true
autorestart=true
redirect_stderr=true
stdout_logfile=/home/%(user)s/log/celery.log

Comments

[andrewshkovskii]

Пожалуйста, покажите ваши celery.py, celeryconfig.py для каждого проекта в отдельности.
Celery через супервизор запускается неверно.

[skorpix]

Таких конфигов на первом сайте нет. Настроен он был давненько, мб после того версия обновлялась, но конфиг не менялся (django-celery==3.0.17, celery==3.0.19)

[andrewshkovskii]

Обновляйте celery. Django-celery не используется уже давно. Настраивайте так, как написано в мануале.