На чем модно/удобно писать парсеры в 2019г?

Собственно, на чем вы пишете парсеры/веб-скрапперы и почему именно на этом?
  • Вопрос задан
  • 204 просмотра
Решения вопроса 1
sim3x
@sim3x
python: requests/scrapy or +selenium

requests - туда-сюда пульнуть пару запросов или что-то в один поток
Scrapy - комбайн
python+selenium - парсинг ресурсов, которые не любят когда их парсят

spoiler
следить за модой в 2к19?
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
@Verz1Lka
Web scraping expert
Уже описывал некоторое кол-во раз.
Сугубо субъективеное мнение - используйте scrapy под python. Framework заточен под сбор данных. Из коробки решает проблемы многопоточности, куча расширений, на первом этапе паук можно создать за пару десятков строк, и масштабировать потом до бесконечности.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы