@impakashi

Какова разница между Scrapy и BeautifulSoup+Requests?

Имею небольшой опыт в использовании обоих вариантов, но не очень понимаю разницу между ними.
Какой вариант лучше использовать, и почему?
  • Вопрос задан
  • 164 просмотра
Решения вопроса 1
kshnkvn
@kshnkvn Куратор тега Python
yay ✌️ t.me/kshnkvn
BeautifulSoup - это просто html-парсер.
Requests - это просто библиотека для осуществления HTTP-запросов.
Scrapy - это фреймворк для скрэпинга/краулинга, который из коробки умеет в асинхронщину, перебор страниц, представление данных и много чего еще, при чем делает это быстро и эффективно.
Так, что есть что - разобрались.
Если нужно спарсить что-то один раз в небольшом объёме - requests + lxml (да, он лучше, чем bs как минимум тем, что умеет в xpath) более чем.
Большой объём? aiohttp + lxml (но тут уже хоть немного нужно уметь в python).
Нужно построить краулер (или много краулеров), который будет работать ежедневно и пробегать кучу страниц? Косплеить велосипедного инженера - это очень хорошо, но scrapy лучше.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
от 150 000 до 200 000 ₽
OnederX Москва
от 100 000 до 120 000 ₽
Кенарий Санкт-Петербург
от 120 000 до 250 000 ₽