Какое есть решения для парсинга контента большинства сайтов?

Question

[markmoskalenko]

Добрый день!
Подскажите возможное решение следующей задачи.
Есть сайт для хранения различной информации и структурирование ее. Можно создавать свой контент, а можно взять и вставить ссылку на некий сайт (допустим хабр) и мое api должно спарсить контент статьи (не всю страницу, а только полезную ее часть). Одно дело если бы я знал заранее список возможных сайтов.. но нет. Это SaaS решение для структурирования данных компании и сбора полезных ссылок. Хорошее решение есть у raindrop.io, они умеют и с js сайтов получать полезный контент.
По сути задача сводится к тому чтобы получить контент статьи с любого сайта для сохранения у себя.

Answer 1

[alexdora]

Почти все парсеры которые нам были необходимы по роду деятельности мы создавали с нуля сами, под каждый конкретный сайт.
raindrop.io это сайт с монетизацией и ясно, что там под каждый сайт они в любом случае допиливают парсер. Вот так просто выдергивать можно ридер режим, но сегодня оно работает, а завтра уже нет. Вообще рынок парсинга очень сжат. Т.е кто умеет делать хорошие парсеры продают за дорого свою работу, а каких-то публичных парсеров всеядных и бесплатных – по пальцам пересчитать, если они вообще есть

Comments

[markmoskalenko]

А можно подробнее про ридер режим? Как это вообще можно получать?

[alexdora]

markmoskalenko, версия для печати или версия для айфона. Есть вроде спец разлиновка для айфона. Вообщем направление я вам дал, дальше сами.
Сразу скажу то что вы хотите сделать нарушает авторские права

[alexdora]

markmoskalenko, Я вам добавлю еще информации:
Проблема порой не отпарсить сайт, а вообще запустить парсер так таковой. Т.е первое на что попадаете на прокси-сервера за деньги или большое количество айпи. Второе: Сейчас каждый встречный-поперечный сайт имеет защиты различного рода.
Самые не простые на мой взгляд – javascript-дефендеры и загружаемый контент через WebSockets.
Javascript надо исполнить или раскрыть его логику, нарисовав замену. Но когда комплект скриптов-дефендеров по 30-40 на один сайт разных на каждой загрузке приходишь к выводу что придется использовать различные эмуляторы.
WebSockets – вообще проблема из проблем. Даже при использовании эмуляторов там существуют механизмы защиты которые просто похоронят чтение (совсем не давно решали задачу такую, сначала эмулятор был, а теперь пришлось писать на nodejs полностью обертку с реверс-инжинирингом. Работает теперь стабильно и без прокси, но времени ушло часов 8 у программистов профи)

Можно представляться поисковиком и для них существуют некие зеленые коридоры. Но любой сайт где представлен контент лимитирует поисковые машины. Допустим допускают только гугл/яндекс/бинг, а всех остальных отсылают в лес. Мы эту идею прорабатывали и пришли к выводу что в ней нет смысла, тем более при текущий задаче. Если бы реально поисковик был бы у вас, можно было просто писать письма а-ля прошу внести в аксесс лист такой-то поисковик, с таким-то айпи. Они посмотрели, действительно поисковик и дадут зеленый свет. Но у вас по сути копирование контента.

[AlikDex]

alexdora, если не для поисковика парсинг, то можно страницы дергать через всякие селениумы. Медленно да, но все же можно выдернуть все нужное без лишних заморочек.