Задать вопрос
@101-s

Какие инструменты Вы используете для парсинга?

Интересует быстрый парсинг - зашел на сайт, посмотрел на код, минимум кода, скорость важна.
Было бы еще неплохо чтобы инструмент был гибким - то есть парсил бы любые сайты.

Или поделитесь пожалуйста Вашими инструментами, было бы неплохо услышать мнение профи - тех кто зарабатывает этим.

PS язык программирования желателен python, ну или другой тоже подойдет
  • Вопрос задан
  • 586 просмотров
Подписаться 2 Средний 8 комментариев
Решения вопроса 5
@maksam07
requests и bs4 делают много полезных базовых вещей - если на сайте нет защиты от ддос/роботов
Ответ написан
Комментировать
Mike_Ro
@Mike_Ro
Python, JS, WordPress, SEO, Bots, Adversting
Интересует быстрый парсинг - зашел на сайт, посмотрел на код, минимум кода, скорость важна.

BAS, Scrapy.
Было бы еще неплохо чтобы инструмент был гибким - то есть парсил бы любые сайты.

Так не бывает, увеличение универсальности и гибкости - увеличивает сложность.
Или поделитесь пожалуйста Вашими инструментами

Selenium, Appium, nodriver, requests.
Ответ написан
Комментировать
phaggi
@phaggi
лужу, паяю, ЭВМы починяю
Если надо быстро и с минимумом писанины - лепите на RPA. Я в своё время на Sherpa лепил хоть и костыльные, но вполне рабочие «парсеры».
Ответ написан
@tictac17
BeautifulSoup возможно вам подойдет.
- язык Python
- относительно несложный
- широкий функционал
Ответ написан
Комментировать
@Giperoglif
всё пишу ручками сам т.к. очень большие объёмы с обходами WAF, каптч и прочих прелестей. из полезного: curl-impersonate могу посоветовать.
Ответ написан
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы