Задать вопрос
@impakashi

Какова разница между Scrapy и BeautifulSoup+Requests?

Имею небольшой опыт в использовании обоих вариантов, но не очень понимаю разницу между ними.
Какой вариант лучше использовать, и почему?
  • Вопрос задан
  • 1516 просмотров
Подписаться 2 Простой Комментировать
Решения вопроса 1
kshnkvn
@kshnkvn
yay ✌️ t.me/kshnkvn
BeautifulSoup - это просто html-парсер.
Requests - это просто библиотека для осуществления HTTP-запросов.
Scrapy - это фреймворк для скрэпинга/краулинга, который из коробки умеет в асинхронщину, перебор страниц, представление данных и много чего еще, при чем делает это быстро и эффективно.
Так, что есть что - разобрались.
Если нужно спарсить что-то один раз в небольшом объёме - requests + lxml (да, он лучше, чем bs как минимум тем, что умеет в xpath) более чем.
Большой объём? aiohttp + lxml (но тут уже хоть немного нужно уметь в python).
Нужно построить краулер (или много краулеров), который будет работать ежедневно и пробегать кучу страниц? Косплеить велосипедного инженера - это очень хорошо, но scrapy лучше.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
от 200 000 до 300 000 ₽
Greenway Global Новосибирск
от 150 000 ₽
Akronix Санкт-Петербург
от 150 000 до 200 000 ₽
31 янв. 2025, в 09:18
10000 руб./за проект
31 янв. 2025, в 08:29
1000 руб./в час
31 янв. 2025, в 06:03
9999999 руб./за проект