Выбор: парсить на питоне с aiohttp, asyncio, bs4 или requests + bs4?

Question

[Александр Третьяков]

В заголовке моя дилемма. А как правильно то? Мне писали, что aiohttp асинхронный модуль, поэтому для запросов его нужно использовать вместе с asyncio. То есть про requests можно забыть? Помогите разложить это по полочкам. Может одни модули в таких-то случаях, другие - в иных.
Python 3.11

Answer 1

[Михаил Р.]

Помогите разложить это по полочкам.

Зависит от задачи:
1. aiohttp + asyncio - выполнение асинхронных http запросов, без блокировки основного потока. Когда надо спарсить множество страниц без защиты, а времени в обрез.
2. requests + bs - выполнение синхронных http запросов, с блокировкой основного потока. Когда надо спарсить несколько страниц без защиты, и время не жмет.
3. selenium - когда первые 2 легли на первой же "защите на дурака". Синхронно, медленно, ресурсоёмко, максимальная человечность.

Comments

[Everything_is_bad]

requests в thread тоже нормально работает, потому что работа с сетью в питоне, почти всегда это release lock, так что особой разницы между aiohttp+bs4 и requests+bs4, не будет, при условии правильного написания кода, а то криво можно и с асинхронным, и со синхронным сделать

[Александр Третьяков]

Everything_is_bad, Спасибо за дополнение. Я где-то натыкался на модуль MecanicalSoup, который имитирует работу браузера. Я так понимаю это альтернатива Selenium. Или селениум некий стандарт уже?

[Everything_is_bad]

Александр Третьяков, селениум это другое, это выполнение запросов из браузера, которые кроме html, еще исполняет js

[Михаил Р.]

Everything_is_bad,

requests в thread тоже нормально работает

Вопрос был про конкретные технологии. В thread-s можно запихнуть все что угодно, даже селениум, но это уже сложность другого уровня.
Александр Третьяков

Я где-то натыкался на модуль MecanicalSoup, который имитирует работу браузера. Я так понимаю это альтернатива Selenium

Нет, selenium это некий набор api, для выполнения действий от лица настоящих браузеров с максимальной человечностью.

[Александр Третьяков]

Михаил Р., thread-s пока не мой уровень. А можно для начала использовать именно MSoup, потому что я смотрю селениум тоже не прост?

[Михаил Р.]

Александр Третьяков,

А можно для начала использовать именно MSoup

Используйте любые инструменты, которые решают Вашу задачу. К селениуму Вы приедете автоматически, когда Вас перестанут пускать не сайт.

потому что я смотрю селениум тоже не прост?

Считайте селениум отдельной программой, которая не привязана к конкретному языку или платформе, она просто дает Вам возможность подключиться к себе с разных языков. А что на счет сложности, я бы не сказал, что он сложный, посмотрите примеры вопросов и ответов.

Answer 2

[Everything_is_bad]

client в aiohttp позволяет делать всё тоже самое что и requests, но ты не осилил документацию
а еще, по секрету, bs4 внезапно синхронный

Comments

[Александр Третьяков]

То есть его нельзя использовать вместе с асинхронными модулями? Я честно слаб в этом вопросе. Не до конца понимаю ограничения оп использованию вместе син-х и асин-х модулей.

[Everything_is_bad]

U238_miner, надо сначала почитать документацию и разобраться как работает asyncio, и что в нем сделать с синхронным кодом.