Какую библиотеку использовать для парсинга большого количества страниц?

Question

[Ninzalo]

Пробовал разные - aiohttp+asyncio+bs4 / grequests+bs4 / requests+bs4 / multiprocessing+requests+bs4 / multithreads+requests+bs4.
Сейчас появилась задача спарсить данные с 2млн+ страниц, и вот не знаю, что справится с задачей быстрее и качественнее.
Также хотелось бы услышать комментарии по поводу Scrapy - скорость/удобство

Comments

[Влад Григорьев]

эммн, а какой смысл в связке requests + aoihttp?

[Ninzalo]

Влад Григорьев, через aiohttp.ClientSession создаю сессию, через asyncio создаю задачи для парсинга с использованием этой сессии

[Влад Григорьев]

Ninzalo, суть в том что requests синхронный и полностью блокирует поток, и при такой связки все плюсы который может дать aiohttp теряются

[shurshur]

Ninzalo, aiohttp полностью заменяет requests, причём он разработан явно с оглядкой на requests и по сути повторяет все его плюсы.

[Ninzalo]

shurshur, Влад Григорьев, в голову мне что-то похоже ударило, только сейчас понял что написал
текст вопроса поправил

[Uno]

хочешь быстро и асинхронно? с++

[Ninzalo]

Uno, задача - написать именно на Python

Answer 1

[Кирилл Горелов]

Да сделай ты уже на хоть чем-то))))

Ну будет у тебя разница в скорости между инструментами варьироваться час-два.....
А так я за хардкор. чистый requests.

Comments

[Ninzalo]

парсеры я уже написал практически на всем, что перечислил
но вот только по самым скромным подсчетам парсинг займет около 120 часов, что мне не очень нравится. Вот и хотел узнать, есть ли способы ускорить данный процесс

[Кирилл Горелов]

Ninzalo, буквально вчера был подобный вопрос....
Там такой ссылкой поделились.
https://habr.com/ru/company/vdsina/blog/499750/

[d'Ivan]

Кирилл Горелов,

Там такой ссылкой поделились.

насколько я понял, там про сканирование комп. сетей, а не про скачивание контента по HTTP.

[Кирилл Горелов]

Роман Мирр, да, верно.
Тогда поделюсь еще ссылкой на свой вопрос, который я точно такой же задавал
https://qna.habr.com/q/1023898
Ninzalo, тут может что-то поможет тебе...

[Ninzalo]

Кирилл Горелов, спасибо

Answer 2

[Владимир Куц]

Вы бы определились - с чем именно проблемы могут возникнуть в вашем случае.
Толку от быстрой библиотеки парсинга страницы не будет если сайт вам страницу полминуты отдавать будет...
Толку от обычного подхода парсинга не будет, если страницу для получения данных на стороне броузера рендерить надо будет или какие-то действия выполнять.
Толку от большого количества запросов в единицу времени не будет, - если сервер будет в бан отправлять за частые запросы.
Ну и т.п.... Так что правильно вам говорят - беритесь уже хоть за что нибудь, да решайте проблемы по мере поступления.

Answer 3

[Владимир Коротенко]

Монопенисуально.
допустим вы обрабатываете страницу за 500 ms (что кстати быстро)
Добавляете в пул 100 воркеров, хотя я бы таких клиентов выкидывал бы.
Итак в самом хорошем варианте у вас получается обход за 2.8 часа.
Это нагрузка не о чем для вашего компа.
Пусть страница 100 kb.
вот с такой скоростью вы будете скачивать с сервера 160 mbps

Comments

[Кирилл Горелов]

Как так посчитали 2.8ч? У меня по Вашим подсчетам вышло 28ч....

[Кирилл Горелов]

Владимир Коротенко, аааа
все, понял как.......
можно не комментировать