U238_miner
@U238_miner
Питон, железки, софт.

Выбор: парсить на питоне с aiohttp, asyncio, bs4 или requests + bs4?

В заголовке моя дилемма. А как правильно то? Мне писали, что aiohttp асинхронный модуль, поэтому для запросов его нужно использовать вместе с asyncio. То есть про requests можно забыть? Помогите разложить это по полочкам. Может одни модули в таких-то случаях, другие - в иных.
Python 3.11
  • Вопрос задан
  • 178 просмотров
Решения вопроса 2
Mike_Ro
@Mike_Ro Куратор тега Python
Python, JS, WordPress, SEO, Bots, Adversting
Помогите разложить это по полочкам.

Зависит от задачи:
1. aiohttp + asyncio - выполнение асинхронных http запросов, без блокировки основного потока. Когда надо спарсить множество страниц без защиты, а времени в обрез.
2. requests + bs - выполнение синхронных http запросов, с блокировкой основного потока. Когда надо спарсить несколько страниц без защиты, и время не жмет.
3. selenium - когда первые 2 легли на первой же "защите на дурака". Синхронно, медленно, ресурсоёмко, максимальная человечность.
Ответ написан
@Everything_is_bad
client в aiohttp позволяет делать всё тоже самое что и requests, но ты не осилил документацию
а еще, по секрету, bs4 внезапно синхронный
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы