Asyncio. Как добавить задачу в запущенный loop?

Question

[Дмитрий Матвеев]

Здравствуйте, возникл один вопрос. Есть парсер, который вытаскивает информацию с нескольких сайтов. Возникает проблема в скорости загрузки этих данных, так как много ссылок, которые надо обработать. Из-за этого решил использовать asyncio и aiohttp. Так вот, вопрос в том, как мне сделать, чтобы этот парсер, допустим, отправлял по необходимости данные в asyncio, и он их обрабатывал. То есть, чтобы в этом допустим классе loop был запущен методом run_forever() и какая нибудь функция, которая добавляла task в loop. Реализуемо ли это? И правильно ли выбран подход? Заранее спасибо!

Answer 1

[Алексей]

Если я правильно всё понял то вам должно хватить:

• create_task
  
• queue
  

Идея следующая. Пишем корутину-исполнитель которая из очереди задач на скачивание берёт очередное задание, загружает что требуется, а результат кладёт в другую очередь результатов. С помощью вызова loop.create_task создаём несколько паралельно работающих корутин-исполнителей передав им как параметр очередь с задачами и очередь результатов. Пишем корутину-генератор задач, которая в соответствии с вашим алгоритмом будет наполнять очередь задачами. Как то так, к сожалению сейчас нет времени писать код.
По теме есть вот такой доклад - Patterns for asyncio applications там описаны несколько вариантов запуска циклов, в том числе в отдельном потоке как вам надо. Дерзайте :)

Comments

[Дмитрий Матвеев]

Благодарю!

Answer 2

[Dimonchik]

https://github.com/niklak/aiohttp_spider

и статью поищи где-то автор писал

а вообще - Scrapy упростил бы жизнь сильно

Comments

[Дмитрий Матвеев]

А есть примерный код, который выполняет то что мне нужно? Если несложно.

[Dimonchik]

проблема в том, что непонятно что нужно ))

поэтому дал готовое решение, но Скрапи лучше

[Дмитрий Матвеев]

И если я правильно понимаю, в примере по ссылке, которую вы мне дали, реализовано не так как мне надо. Там ссылки собираются и отправляются в loop. А у меня не так происходит. Допустим у меня есть 1000 ссылок, по которым надо проходится иногда через определенное время. И собирать ссылки, а потом отправлять, эта трата времени, из-а этого мне надо, чтоб я отправил ссылку в класс с другого процесса допустим, а она добавилась уже в запущенный loop, который работает постоянно

[Артем Советников]

Многопоточный вариант вы уже реализовали?
Асинхронное программирование это очень специфичная вещь для языков которые изначально на такую работу не были рассчитаны.
Если вам надо сделать задачу, то возьмите Celery и выполняйте свои задачи одновременно и в нужной последовательности.

[Владимир]

Артем Советников, Артем, не надо давать комментариев о вещах, в которых вы не разбираетесь.
сельдерей тут не помошник и просто удлинит процесс до безобразия

[Владимир]

необходимо реализацию делать через очереди и докидывать в очередь задачки пока нужно. кода много получается, но работает очень быстро

[Владимир]

вот пример для tornado
www.tornadoweb.org/en/stable/guide/queues.html
там все понятно.

[Артем Советников]

Владимир, не надо судить.
Прошел я это всё ещё когда async await в помине не было в питоне и для UI и для бэкенд разработки.
И извините, данные я в промышленных масштабах собираю.
Будет быстро с asyncio, но петля обучения и набивания шишек слишком длинная, а плюсы не так велики.
Кому интересно может со мной связаться, разложу по полочкам решение и дам примеры без asyncio, и без головных болей.

[Владимир]

Артем Советников, у меня тот же путь, тоже работаю большими обьемами данных. так что рекомендую всеже посмотреть на ассинхронные фреймворки. удобнее с ними в разы работать :)
кстати тоже могу дать кучищу примеров как на потоках-корутинах так и торнадо-асинк
но ... этот путь надо пройти каждому самостоятельно, потому как мышление для ассинхронного программирования надо иметь другое, тут я согласен полностью