Зачем сохранять результаты в Celery?

Question

[Andrei1penguin1]

Доброго времени суток, не совсем понимаю, зачем нужно сохранение результатов в Celery
Вот допустим нам нужно добавить пост на страницу, мы при получении ajax запроса поручаем эту задачу Celery и немедленно во вьюхе возвращаем httpresponse("")
После добавления публикации нам более ничего не нужно
Наверное мое непонимание вызвано тем, что собственно собой представляет результат задачи
Подскажите пожалуйста этот момент и зачем его нужно сохранять (или не нужно, что должно быть производительнее)

Answer 1

[Сергей Горностаев]

Ну, использовать Celery для добавления поста - это оверкилл. А вообще смысл в том, что обработчик http-запроса должен максимально быстро отвечать на запрос и завершать работу. Параллельность в Django, как и во многих других фреймворках, обеспечивается запуском нескольких процессов. Если обработчику запросов на ответ нужна например одна секунда и запущено три процесса, то сервис способен обрабатывать не больше трёх запросов в секунду. Если запросов будет в десять раз больше, то некоторым из них придётся десять секунд висеть на загрузке и может быть даже отвалиться по таймауту. Если же процессов запустить много, то будет высокий расход ресурсов сервера. Так что разумно всё, потенциально требующее больше 100 миллисекунд, засовывать в очередь для обработки в фоне.

Comments

[Andrei1penguin1]

Да, это я понимаю
Но в celery есть такая настройка, как хранение результатов функций celery (то, что возвращает return в shared_task) в базе данных
А зачем эти результаты нужны?
Функций выполнилась и ей ничего не нужно больше возвращать, зачем результат выполнения сохранять в базе данных?
А про очереди спасибо, я как раз вчера читал, что в celery можно указать приоритетность, важные задачи выполнять первыми, неважные—последними
Это при перегрузке сервера

[Сергей Горностаев]

Andrei1penguin1, это слишком общий вопрос. Зачем вообще в функциях используется return? Очевидно, чтобы что-то возвращать. Как возвращённое значение используется - зависит от того, что функция делает, и как её использует вызывающий код. Разница только в том, что return сразу возвращает значение вызывающему коду, а Celery асинхронно и через посредника.

[Andrei1penguin1]

Сергей Горностаев, то есть celery_ignore_result можно смело ставить на False?

[Сергей Горностаев]

Andrei1penguin1, оно по умолчанию так стоит. Если вам не нужен возврат из таски, то можете ставить True и не сохранять его.

[Andrei1penguin1]

Сергей Горностаев, ой, перепутал, спасибо!

Answer 2

[Александр Нестеров]

Суть в том, что задачи в очереди выполняются асинхронно и не будут ломать логику, которая идет дальше, если что-то случится.
1. К примеру - на сайте регистрация происходит синхронно то, к примеру, если почтоввый сервис, с которого отправляются письма о регистрации ляжет то и вьюха, скорее всего, сломается (в целом, можно эксепшеном обработать как ошибку, но можно и так).
2. Почтовый сервис может долго думать и пока не отправит таки письмо, вьюха будет "висеть". Поэтому задачи, которые могут занять некоторое время (в том числе и запись в бд) также запускают асинхронно.

Comments

[Andrei1penguin1]

Это-то я понимаю
Вопрос немного в другом
В celery есть такая настройка, как хранение результатов функций celery (то, что возвращает return в shared_task) в базе данных
А зачем эти результаты нужны?
То есть допустим функция celery сохраняет комментарий к посту и все, больше от нее ничего не требуется
Зачем в таком случае возвращать результат выполнения и сохранять его в бд?
Или я не так понимаю настройку celery_ignore_result?