Как спарсить главную часть текста веб страницы?

Question

[Иван]

Нужно из HTML кода веб страницы получить собственно текст статьи без менюшек aside футеров и прочего лишнего текста. Думаю что основной текст обычно занимает больший объем чем остальные элементы. Предложите как его вычленить из общей массы. Картинки и теги внутри статьи мне не нужны их можно удалить.

Comments

[Илья]

Если вам нужен универсальный под все сайты, то вам такой не написать. И нам не написать.

Answer 1

[DevMan]

любой dom-парсер в помощь.
пользоваться ими несложнее, чем jquery. a регулярками парсить - бред еще тот.

Comments

[Иван]

а если приложение десктопное (delphi xe 8), какой парсер посоветуете?

[DevMan]

Иван Сараев: я с delphi знаком весьма поверхностно.
поэтому или спрашивайте у людей с ним знакомым или гуглите.

[АртемЪ]

Иван Сараев: Гуглите под ваш язык реализацию xpath.

Answer 2

[xmoonlight]

(Этот вопрос уже 3-й раз поднимается на тостере.)

Общий принцип такой: Самый большой (по объёму) текст внутри ПЕРВОГО! контейнера (div,td) каждой "ветки" в DOM-"дереве" без тегов разметки текста (a,font, h1,h2,h3,p,img,b,i,u,s,sub,sup,span и т.д.) и будет основным текстом страницы.

PS: обязательно поправьте, если что-то упущено.
PS2: документация для Delphi: тут

Comments

[Иван]

Да я как раз это и имел ввиду. Подскажите чем его можно спарсить

[Иван]

Я просто пишу под десктоп программу поэтому всякие js dom парсеры не подойдут. свой писать? если да то на регулярках или как?

[xmoonlight]

Иван Сараев: смотрите: здесь палка о двух концах и каждый из них - бьёт больно!
1. Регулярка даёт простоту парсинга, но не следит за XML-деревом, а оно может быть часто неверным на самой странице.
2. XML-path/xpath-парсеры - работают медленнее, но они могут "исправлять" XML-деревья налету.

Поэтому, я бы использовал всё-таки XML-path парсер и, когда уже точно нет опасения о том, что полученное XML-"дерево" может быть некорректным, и, если есть НЕОБХОДИМОСТЬ (в принципе, уже - вряд ли) в использовании регулярок, только тогда бы использовал эти самые регулярные выражения.

Ищите хороший xpath-парсер.

[murlogen]

Не-а.
Возьмите Хабр.
Там на первой странице текст разбит на куски.

[murlogen]

Иван Сараев: Вообще-то DOM-парзеры появились в библиотеках, которые вы легко можете использовать на десктопе, даже пораньше, чем стали доступы из JS.

[murlogen]

Самый большой (по объёму) текст внутри ПЕРВОГО! контейнера - является зачастую разветвленным боковым меню. К примеру, если речь о интернет магазине - то с очень большой вероятностью это каталог в боковом меню.

[xmoonlight]

murlogen: мда.... тогда... предлагаю конкретный пример какой-нить рассмотреть. вполне возможно, что мы поймём, где бага и как сделать правильно.

[Иван]

xmoonlight: проблема в том что мне нужно парсить не конкретный сайт а много разных и изначально неясно какой будет там код. За ссылку спасибо сейчас гляну. Все таки думаю что разветвленное меню будет ссылками, а мне ссылки не нужны вовсе я могу вообще их прихлопнуть регуляркой и удалить из текста заранее. Поэтому самый большой текст возможно все таки и будет статьей в 90 процентах случаев

[Иван]

murlogen: я выше писал что мне не нужны ссылки и картинки их можно заранее удалить до поиска большого текста

[xmoonlight]

Иван Сараев: Вы не поняли: алгоритм, предложенный мной, - максимально универсальный. Я даже и не думал привязываться к какому-то конкретному сайту или структуре данных.

[murlogen]

Иван Сараев: Удаление ссылок и картинок - вообще примитивнейшая задача на фоне задачи определения "главного теста".

[Иван]

xmoonlight: я понял что он универсальный. просто когда вы предложили рассмотреть конкретный пример - то можно в качестве примера взять любую веб страничку же. это меня и смутило ))

[xmoonlight]

Иван Сараев: я же не Вам предложил-то)

[Иван]

murlogen: ну я о том что многоуровневые меню которые есть ссылки уже как бы не закроют нам своим объемом основной текст. единственное - если на страничке основной текст будет очень маленьким но в моем случае такое маловероятно, хотя и не исключено. однако в целом это роли не сыграет так как на одну и ту же тему будет парситься 7-8 статей из поисковой выдачи и уж в одной из них точно будет основной текст достаточного объема

[Иван]

В принципе все ясно = спасибо за подсказки

Answer 3

[murlogen]

Если на сайте есть поддержка микроразметки для FB и т.п. - то вам повезло.
Выцепляется на раз.
Выглядит - красиво.
Как раз то, что задумывал автор сайта.

Я бы начал с попытки определить микроразметку
Есть готовые библиотеки, которые делают сие в один-два вызова.

Если нет микроразметки, то менее точным методом парзить вручную - ну это вам другие ответчики пишут как.

Answer 4

[Александр Таратин]

Php-readability Какой порт выбрать?

Comments

[Иван]

пасиб, но в комментах выше я уточнил что пишу под десктоп.

[Александр Таратин]

Иван Сараев: https://github.com/masukomi/ar90-readability#ports
https://github.com/agonopol/readability
https://github.com/mauidude/go-readability
Если погуглить, то можно еще найти порты