Почему раздваивается задача которая поставлена больше чем на час в django-celery + redis?

Question

[bQ1]

Если асинхронная задача поставлена дольше чем на час то она раздваивается и по итогу выполняется 2 раза. В следующей итерации каждая из этих снова делится на 2 и так далее... Что за фигня? При этом это случается ТОЛЬКО на задачах дольше часа

Comments

[Stanislav Pugachev]

Я думаю это шайтан какой-то у вас завелся

[bQ1]

Stanislav Pugachev, где то читал про то что задачи в селери+ редис кешируются если висят больше часа и потом они почему то раздваиваются, но сейчас не могу найти где это читал

[maks2025]

Параметр называется visibility_timeout, проблема возникает, видимо, только с redis (https://docs.celeryproject.org/en/latest/getting-s... По умолчанию 1 час app.conf.broker_transport_options = {'visibility_timeout': 3600}. По логике нужно = eta(countdown) + visibility_timeout. Обсуждение есть здесь https://github.com/celery/kombu/issues/337.

[bQ1]

maks2025, Большое спасибо, напишите это в ответ, отмечу решением

[bQ1]

maks2025, не подскажете еще один момент? Почему у меня из неоткуда ставятся задачи? celery purge выполнил, бд celerybeat-schedule.db удалил, но все равно откуда то ставятся задачи

Answer 1

[maks2025]

Параметр называется visibility_timeout, проблема возникает, видимо, только с redis (https://docs.celeryproject.org/en/latest/getting-s... По умолчанию 1 час app.conf.broker_transport_options = {'visibility_timeout': 3600}. По логике нужно = eta(countdown) + visibility_timeout. Обсуждение есть здесь https://github.com/celery/kombu/issues/337.