Как запускать задачи асинхронно по мере поступления?

Question

[Евстегней Чачлык]

Поступают задачи с неопределенным интервалом
имеются функции для их решения
надо чтобы они все запускались асинхронно и не мешали основному циклу

Comments

[Сергей Горностаев]

Какую библиотеку/фреймворк асинхронности используете? Какого рода задачи поступают и в каком виде?

[Евстегней Чачлык]

Сергей Горностаев, желательно asyncio
задачи приходящие из лонгпула вк

[Сергей Горностаев]

Евстегней Чачлык, подробнее, что вы имеете в виду под "задачей"?

[Евстегней Чачлык]

Сергей Горностаев, мне приходит ответ от вк в виде json
я его обрабатываю и запускаю функцию(задачу)
в данный момент скрипт ждет окончания этой задачи и только после этого приступает к следующей

[Сергей Горностаев]

Евстегней Чачлык, решение зависит от того, что именно делает ваша "задача". Некоторые операции асинхронно выполняются хуже, чем в потоках, или не выполняются вовсе. Кроме того, сами принципы работы с циклом событий может быть нелегко вписать в имеющийся алгоритм.

[Сергей Горностаев]

Евстегней Чачлык, store.send() и data.save() - блокирующие операции?

Answer 1

[Владимир Куц]

Celery

Comments

[Евстегней Чачлык]

я так понимаю на этом только колбэк делать?

[Roman K]

Евстегней Чачлык, result backend гугли

Answer 2

[Ivan Yakushenko]

Мне кажется, вам больше многопоточность пойдет.
Просто запускаете нужную функцию примерно так:

from threading import Thread

Thread(target=ваша_функция, args=аргументы_если_они_есть).start()

В итоге ваша функция отрабатывает независимо от остальных и можно запускать потоков сколько вам нужно.

Comments

[Евстегней Чачлык]

Я не думаю что это хороший вариант так как задач приходит много
и запускать поток который не требует много ресурсов не очень размуно на мой взгляд

[Ivan Yakushenko]

Евстегней Чачлык, так нет никакой разницы в производительности. Что так, что так будет запускаться одна и та-же функция. Разница лишь в том, что при использовании асинхронности во время выполнения "взаимодействия" с пользователем будет запускаться еще один поток event.listen() что-бы получать новые события - это нужно если вам, к примеру, нужно производить цепочку событий с конкретным пользователем (опросы, к примеру). Хотя и это можно сделать с многопоточностью - просто запускать новый поток прослушивания event.listen() и обычным if искать нужный id пользователя. По сути получится то-же самое, что и при использовании асинхронности.
Я не думаю, что в вашем боте есть хоть какие-то блокирующие event.listen операции, за исключением тех, которые вы запускаете сами, но именно для таких целей и есть многопоточность - запуск независимой функции, которая не будет вмешиваться в работу основного процесса.

Answer 3

[Николай Киселев]

Asyncio. Он очень прост в отличии от трединга и похожих и сам все сделает в отличии от celery. Для того чтобы его понять за 10 минут советую aiohttp сервер создать

Comments

[Владимир Олохтонов]

Только важно понимать, что это кооперативная многозадачность, а значит любая блокирующая операция блокирует весь event-loop.

Часто бывает полезно вынести блокирующие операции в отдельный тред (если они не берут GIL) или даже в отдельный процесс, для этого существует run_on_executor.