Стоит ли асинхронность использовать при парсинге?

Question

[Mikkkch]

Здравствуйте, есть ли смысл использовать асинхронный подход к программированию в случае, когда перед нами стоит задача принимать неограниченное количество ссылок и мониторить их до тех пор, пока не появится нужный элемент?
Возможно вопрос покажется кому-то неуместным, но все же попрошу отнестись лояльней.

Comments

[Mikkkch]

Dr. Bacon, если бы язык указал, то скорее всего многие начали бы ныть, что вопрос не привязывается к конкретной технологии т.д и т.п. В общем всем не угодишь

[xmoonlight]

Mikkkch, Dr. Bacon, речь не о технологии асинхронности, а о принципах подхода с её использованием.

[xmoonlight]

Mikkkch,

если бы язык указал, то скорее всего многие начали бы ныть, что вопрос не привязывается к конкретной технологии т.д и т.п. В общем всем не угодишь

правильно сделали, что не указали.

[xmoonlight]

Dr. Bacon, какие?

[xmoonlight]

Dr. Bacon,

да вот походу в реализациях есть различия

не нашёл ответа в вашем коментарии на мой вопрос "где?".

[xmoonlight]

Dr. Bacon, "почему?" + "мысли" - это совсем не интересно.
Правда, вопрос бы "какие?" (различия есть в реализациях).
Но конкретики - я так и не увидел.
Возможно, что никогда не было и нет их?!))

Answer 1

[Roman K]

Парсинг — это чуть ли не первое в списке того, ради чего стоит использовать асинхронность. Чем больше IO операций — тем больше преимуществ у асинхронного подхода перед тредпулом. Если при парсинге необходимо выполнять CPU-bound операции (разбор XML/HTML и прочее) — это выносится в тредпул (для питона — процеспул) и через асинхронные биндинги (например, в питоне это run_in_executor) отдаётся на откуп туда, главный же поток при этом не блокируется.

Пример на коленке, который парсит граф ссылок с википедии, с процесспулом, lxml и прочими ништяками: тык

Comments

[Mikkkch]

спасибо большое за ответ и пример. Прошу прощения за еще один вопрос, aiohttp не исполняет javascript код? Если нет, то каким образом поступить в использовании селениума?Я видел библиотеку под названием aioselenium, но там ни документации ни даже репозиторий на гите найти не могу.

[Roman K]

Mikkkch, aiohttp не исполняет js, верно. Селениум — это отдельная тема. Если коротко, можно стандартные привязки синхронного селениума завернуть в тот же run_in_executor при условии, что кроме селениума есть обычные HTTP запросы. Если для парсинга используется исключительно селениум, то как сказал Владимир Коротенко, смысла от асинхронности нет, т.к. селениум-браузеров ты не запустишь много. В этом случае достаточно тредпула с количеством тредов равному количеству запущенных одновременно браузеров.

Что касается самого селениума, посмотри в сторону selenoid + gogridrouter — это для создания кластера из селениумов.

Как лёгкую альтернативу селениуму, можно посмотреть на https://github.com/psf/requests-html

[Mikkkch]

Roman Kitaev, что бы я без вас делал
на это если что отвечать не нужно)
спасибо большое еще раз

[Mikkkch]

Roman Kitaev, сейчас попробовал задеплоить код на хероку. На локале все запускается норм, а вот если деплою, то возникает следующая ошибка:
http.client.BadStatusLine: GET /json/version HTTP/1.1
Как я понял это из-за того, что библиотека для метода arender() использует хромиум, а ему в опциях какие-то параметры указывать надо?

Answer 2

[xmoonlight]

Да. Но есть нюанс.
Если это линки одного домена - нужно контролировать максимальное количество параллельных соединений к одному домену и частоту запросов.

Answer 3

[Владимир Коротенко]

Я бы использовал обычный threadpool. Все тоже самое, но больше контроля за памятью и ресурсами