Как разделить две задачи по очередям Celery в Django? Что нужно изменить?

Question

[MOV_UA]

"settings.py"
CELERY_BROKER_URL = 'redis://localhost:6379'
CELERY_RESULT_BACKEND = 'redis://localhost:6379'
CELERY_ACCEPT_CONTENT = ['application/json']
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TASK_SERIALIZER = 'json'

"celeryapp.py"
from __future__ import absolute_import, unicode_literals
import os
from celery import Celery
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'oko.settings')
celery_app = Celery()
celery_app.config_from_object('django.conf:settings', namespace='CELERY')
celery_app.autodiscover_tasks()

"tasks.py"
from celery import shared_task

@shared_task
def main_loop(date2load: str = None):
    # Завантаження конфігурації із файлу
    ...
@shared_task
def search_pub(line):
   ....

Answer 1

[Вадим Шаталов]

docs.celeryproject.org/en/latest/userguide/routing.html

Comments

[MOV_UA]

а из какого модуля Queue, Exchange. И как стартоват в консоли?

Answer 2

[Андрей Леонов]

в settings.py что-то типа такого:

CELERY_ROUTES = {
    'main_loop': {'queue': 'queue1'},
    'search_pub': {'queue': 'queue2'},
}

CELERY_QUEUES = (
    Queue('default', Exchange('default'), routing_key='default'),
    Queue('queue1', Exchange('queue1'), routing_key='queue1'),
    Queue('queue2', Exchange('queue2'), routing_key='queue2'),
)/code>

вот <a href="https://docs.celeryproject.org/en/latest/userguide/routing.html">тут</a> есть все подробности

Comments

[MOV_UA]

а из какого модуля Queue, Exchange. И как стартоват в консоли?

[MOV_UA]

А как стартовать из консоли?

[Андрей Леонов]

MOV_UA, from kombu import Queue, Exchange

celery -A proj worker -Q default

и повторяй для разных очередей

[Андрей Леонов]

По ссылке ты не переходил видимо? Там есть ответы на все эти вопросы

[MOV_UA]

Так пробовал, но не работает. В консоли нет признаков работы. Может надо другой декоратор в tasks.py?

[Андрей Леонов]

MOV_UA, Этот сгодится...

[Андрей Леонов]

а таску запускаешь как?

[MOV_UA]

По ссылке переходил. Там нет тела самой задачи, а именно как выглядит декоратор, может он с параметрами.

[Андрей Леонов]

сходи все же сюда ссылка лучше ни кто не расскажет

[MOV_UA]

class OptionsView(View):
    def get(self, request):
        form = OptionsForm(initial=load_config())
        return render(request, 'main/options_prsr.html', context={'form': form,
                                                                  'nbar': 'options_prsr'})

    def post(self, request):
        bound_form = OptionsForm(request.POST)
        if bound_form.is_valid():
            if 'btn_reload' in request.POST:
                main_loop.delay(request.POST.get('date2load').replace('-', ''))

[Андрей Леонов]

MOV_UA, а лучше сюда есть примеры

[Андрей Леонов]

и в логах пусто?

[MOV_UA]

Да

Answer 3

[MOV_UA]

Решил путем использования другого декоратора @celery_app.task(queue='normal')

Comments

[MOV_UA]

Использовал декоратор
@celery_app.task(queue='normal')
вместо
@shared_task