Почему фоновый процесс запускает несколько фоновых процессов?

Question

[Андрей Горшенин]

Добрый день!

У меня есть вот такой код на языке Python версии 3.х, в котором сначала запускается первая функция, она запускает вторую до того как завершит свою работу - а та снова первую. Предполагалось, что эти две функции, выполняя некоторую работу раз в интервал времени будут работать на сервере постоянно, по кругу:

@shared_task
def Task1(arg1):

    Task2.apply_async((arg2,), countdown=86400)


@shared_task
def Task2(arg2):

    rnd = random.randint(3600, 21600)
    cd = 86400 + rnd

    Task1.apply_async((arg1,), countdown=cd)

(Код функций я пропустил для удобочитаемости, на суть вопроса, вроде как, не влияет)

Проблема заключается в том, что функция 2, запущенная функцией 1, запускает несколько функций 1 в конце своей работы, чего не предполагалось.

Я использую в своей работе python 3, celery[redis] версии 3.1.20-1 на Убунте.

Буду благодарен за помощь в разрешении этого вопроса.

Comments

[Mykola]

Андрей Горшенин можете описать какую задачу Вы хотите решить?
И пробывали Вы использовать ети функции без целери?
А еще предпологаю, что проблема кроется в apply_async. Используйте delay()

[Андрей Горшенин]

Mykola, без Селери там уже никак.
Сама задача состоит в том, чтобы проводить "выборы в парламенте".
Есть две функции:
Первая функция "объявляет" выборы созданием экземпляра класса "выборы", планирует вторую задачу через сутки и завершает работу.
Вторая функция изменяет свойство "выборов" на "завершено", выполняет подсчет голосов, накопленных в ходе этих выборов, раздаёт "места в парламенте" согласно голосам, и планирует запуск первой функции через неделю.
То есть должен быть реализован цикл из этих двух функций для каждого "парламента". Первый раз первая функция стартует с созданием нового "парламента".
Кстати, подумал сейчас о том, что было бы неплохо завершать эти процессы для удалённого парламента - чтобы фоновый процесс не вылетал с ошибкой.

[Mykola]

Для цикла есть Periodic Tasks линк на 4 версию, в 3 тоже самое есть.
Если у Вас есть времья начала и конца выборов, то это идеальный для вас вариант.
Одна функция у Вас буде создачать выборы, вторая будет делать подсчеты и закрывать.

[Андрей Горшенин]

Mykola, спасибо, буду пробовать сейчас

[Андрей Горшенин]

Mykola, прошу прощения, можете помочь с нахождением примеров реализации? Также, если я правильно понял документацию, планировщик задач должен быть один:

You have to ensure only a single scheduler is running for a schedule at a time, otherwise you’d end up with duplicate tasks. Using a centralized approach means the schedule doesn’t have to be synchronized, and the service can operate without using locks.

это вписывается в мою концепцию того, что парламентов может быть несколько сотен, и для каждого нужно создавать такие задачи?
Также, а что если планировать задачи на выполнение не "через какое-то время", а задать конкретную дату начала?

[Mykola]

Вы используете свое приложение на нескольких серверах? Если нет, у Вас проблем не будет.
Не путайте выполнение своего кода и логики с планировкой.
Периодические таски работают как crontab в linux

Вы создаете к примеру 1 задачу начало в понедельник в 00 часов
а дальше уже ваш код, который должен выполнится. В теле можете проходить по всем парламентам и начинать выборы (если Я правильно понял)

незнаю какие у Вас настройки в плане beat_scheduler, и result_backend
но можете использовать django-celery-beat, django-celery-results

[Mykola]

пример:

from celery.schedules import crontab
from celery.task import periodic_task

@periodic_task(run_every=(crontab(minute='*/15')))
def test_task():
    # code here
    print('Ready')
    return 'success'

[Андрей Горшенин]

Mykola, а можно обойтись без crontab? У меня возникали проблемы при его установке на дебаг- и продакшн серверах.
Также, если я правильно понял, задачи при таком подходе будут работать независимо друг от друга - то есть при создании парламента будут запускаться выборы (первая функция) с аргументом "раз в неделю", и тут, же, сразу же - вторая функция, которая подводит итоги с интервалом в неделю и сутки.
Вообщем, средствами Celery эту задачу решить можно корректно? В идеале - просто избавиться от появления нескольких копий фоновой функции 1, создаваемых функцией завершения выборов в конце своей работы.

[Андрей Горшенин]

Сергей Горностаев Добрый день!
Некоторое время назад вы отвечали на данный вопрос, но комментарии исчезли. Могли бы вы помочь ещё раз с этим же вопросом?

[Mykola]

а можно обойтись без crontab? У меня возникали проблемы при его установке на дебаг- и продакшн серверах.

- что Вы пытались устанавливать? Он идет в коробке.

Задайте вопрос можно ли решить эту задачу вообще))) если да, то какой алгоритм у етих задач.
Сперва сделайте функции которые в ручном режиме решают основную задачу.
Потом уже ставте их на планировщик (целери таски с указаниям времья выполнения).
Так вам будет более понятней как это работает.

[Сергей Горностаев]

Андрей Горшенин, у меня есть обыкновение удалять ответы, который не были приняты автором вопроса в течении нескольких дней и не понравились никому из других пользователей.