Какие инструменты Вы используете для парсинга?

Question

[101-s]

Интересует быстрый парсинг - зашел на сайт, посмотрел на код, минимум кода, скорость важна.
Было бы еще неплохо чтобы инструмент был гибким - то есть парсил бы любые сайты.

Или поделитесь пожалуйста Вашими инструментами, было бы неплохо услышать мнение профи - тех кто зарабатывает этим.

PS язык программирования желателен python, ну или другой тоже подойдет

Comments

[Dmitry Roo]

Самописные

[Сергей delphinpro]

Dmitry Roo, я не в теме, но разве есть универсальные инструменты? Как мне кажется, все парсеры в той или иной степени самописные, под конкретную цель.

[Dmitry Roo]

Сергей delphinpro, у меня ровно такое же мнение

[101-s]

Dmitry Roo, без библиотек?

[ThunderCat]

101-s,

без библиотек?

Библиотеки общего назначения конечно используются, всякие надстройки над курлом или пупитир какой-нибудь, но сам парсинг в большинстве случаев слишком разный для разных источников. Где-то нельзя по тегам отделить текст от разметки, где-то реклама повторяет блоки текста по структуре (а их надо отсечь), где-то стоит клоудфлэйр и надо еще и с запросом что-то мудрить, где-то вообще все строится динамически на вью или реакт и саму страничку парсить абсолютно нет смысла... Короче зоопарк технологий порождает практически бесконечное количество вариаций, так что становится проще сделать что-то руками, чем искать универсальное решение.

[Александр]

Мозги - никто не предложил. :)

[Dmitry Roo]

101-s, ну только стандартные фреймворки.

[101-s]

Александр, мне своих иногда мало, поэтому иду в интернет за чужими)

Answer 1

[maksam07]

requests и bs4 делают много полезных базовых вещей - если на сайте нет защиты от ддос/роботов

Answer 2

[Михаил Р.]

Интересует быстрый парсинг - зашел на сайт, посмотрел на код, минимум кода, скорость важна.

BAS, Scrapy.

Было бы еще неплохо чтобы инструмент был гибким - то есть парсил бы любые сайты.

Так не бывает, увеличение универсальности и гибкости - увеличивает сложность.

Или поделитесь пожалуйста Вашими инструментами

Selenium, Appium, nodriver, requests.

Answer 3

[Алан Гибизов]

Если надо быстро и с минимумом писанины - лепите на RPA. Я в своё время на Sherpa лепил хоть и костыльные, но вполне рабочие «парсеры».

Comments

[101-s]

Sherpa бесплатная?