Какова разница между Scrapy и BeautifulSoup+Requests?

Question

[Сергей]

Имею небольшой опыт в использовании обоих вариантов, но не очень понимаю разницу между ними.
Какой вариант лучше использовать, и почему?

Answer 1

[Ivan Yakushenko]

BeautifulSoup - это просто html-парсер.
Requests - это просто библиотека для осуществления HTTP-запросов.
Scrapy - это фреймворк для скрэпинга/краулинга, который из коробки умеет в асинхронщину, перебор страниц, представление данных и много чего еще, при чем делает это быстро и эффективно.
Так, что есть что - разобрались.
Если нужно спарсить что-то один раз в небольшом объёме - requests + lxml (да, он лучше, чем bs как минимум тем, что умеет в xpath) более чем.
Большой объём? aiohttp + lxml (но тут уже хоть немного нужно уметь в python).
Нужно построить краулер (или много краулеров), который будет работать ежедневно и пробегать кучу страниц? Косплеить велосипедного инженера - это очень хорошо, но scrapy лучше.

Comments

[Сергей]

Спасибо за ответ.
А в общем, если уже имеются знания python и asyncio, стоит учить все эти инструменты или можно обойтись одним решением?

[Ivan Yakushenko]

Сергей, а че там учить? requests/aiohttp - это простые http-запросы (если не учитывать сервер aiohttp), bs4 - прост как палка, lxml - еще проще. По scrapy да, пару вводных статей и документацию желательно почитать, что-бы понимать как им пользоваться нормально. А ограничиваться знанием чего-то одного само по себе не самое хорошее решение.