Celery: почему пропадает стастистика после перезапуска Flower?

Question

[un1t]

Настроил Celery как показано тут
docs.celeryproject.org/en/latest/django/first-step...

Запускаю таски, они появляются в колонках Active, Processed, Failed и т.п.
Перезапускаю Flower, все счетчики сбрасываются в нули.

Думал может быть надо указать бакенд для сохренения результатов CELERY_RESULT_BACKEND, но это не помогло.
В качестве брокера использую Редис.

Comments

[sim3x]

у редиса есть сохранение в файл при перезагрузке?
с https://github.com/mher/flower/issues/253 ознакомился?

[un1t]

sim3x: я редис не перезапускаю, только flower. По ссылке насколько я понял там другая проблема, там вообще воркеры не отображаются.

Answer 1

[estin]

Надо убедиться что flower.readthedocs.io/en/latest/config.html#persistent is True

Comments

[un1t]

Попробовал запускать вот так "flower -A project --persistent=True", счетчики не сохраняются. Может быть еще что-то указать надо?

[estin]

попробуйте так "flower -A project --persistent=True --db=new.db" и посмотерть содержимое файла new.db (это python shelve). Так же по коду https://github.com/mher/flower/blob/a86bf0478f23f5... возможно вы "останавливаете" flower жестко (kill сигнал может быть) что он не успевает сохранить свое состояние

[un1t]

В базу вроде сохраняются данные, но при запуске в веб интерфейсе показываются нули

>>> import shelve
>>> d = shelve.open('new.db')
>>> d['events'].workers['celery@my-machine'].processed
13

[estin]

un1t: должны быть еще d['events'].counters и если их нет, то нужно самому делать их инициализацию в ручную вот тут https://github.com/mher/flower/blob/master/flower/... - пробежаться по всем self.state.workers и просумировать в self.state.counter по аналогии с https://github.com/mher/flower/blob/master/flower/...

но это уже пальцем в небо (
Лучше создайте issue разработчикам flower

[estin]

estin: *d['events'].counter должны быть но их не будет так как задано правило в __reduce__ класса State что пиклить - https://github.com/celery/celery/blob/master/celer...

т.е. да - нужно самому счетчики "восставливать"

[un1t]

estin: ясно спасибо. Я думал оно это умеет. Наверно напишу issue позже.