Нужно из HTML кода веб страницы получить собственно текст статьи без менюшек aside футеров и прочего лишнего текста. Думаю что основной текст обычно занимает больший объем чем остальные элементы. Предложите как его вычленить из общей массы. Картинки и теги внутри статьи мне не нужны их можно удалить.
Общий принцип такой: Самый большой (по объёму) текст внутри ПЕРВОГО! контейнера (div,td) каждой "ветки" в DOM-"дереве" без тегов разметки текста (a,font, h1,h2,h3,p,img,b,i,u,s,sub,sup,span и т.д.) и будет основным текстом страницы.
PS: обязательно поправьте, если что-то упущено.
PS2: документация для Delphi: тут
Иван Сараев: смотрите: здесь палка о двух концах и каждый из них - бьёт больно!
1. Регулярка даёт простоту парсинга, но не следит за XML-деревом, а оно может быть часто неверным на самой странице.
2. XML-path/xpath-парсеры - работают медленнее, но они могут "исправлять" XML-деревья налету.
Поэтому, я бы использовал всё-таки XML-path парсер и, когда уже точно нет опасения о том, что полученное XML-"дерево" может быть некорректным, и, если есть НЕОБХОДИМОСТЬ (в принципе, уже - вряд ли) в использовании регулярок, только тогда бы использовал эти самые регулярные выражения.
Самый большой (по объёму) текст внутри ПЕРВОГО! контейнера - является зачастую разветвленным боковым меню. К примеру, если речь о интернет магазине - то с очень большой вероятностью это каталог в боковом меню.
xmoonlight: проблема в том что мне нужно парсить не конкретный сайт а много разных и изначально неясно какой будет там код. За ссылку спасибо сейчас гляну. Все таки думаю что разветвленное меню будет ссылками, а мне ссылки не нужны вовсе я могу вообще их прихлопнуть регуляркой и удалить из текста заранее. Поэтому самый большой текст возможно все таки и будет статьей в 90 процентах случаев
Иван Сараев: Вы не поняли: алгоритм, предложенный мной, - максимально универсальный. Я даже и не думал привязываться к какому-то конкретному сайту или структуре данных.
xmoonlight: я понял что он универсальный. просто когда вы предложили рассмотреть конкретный пример - то можно в качестве примера взять любую веб страничку же. это меня и смутило ))
murlogen: ну я о том что многоуровневые меню которые есть ссылки уже как бы не закроют нам своим объемом основной текст. единственное - если на страничке основной текст будет очень маленьким но в моем случае такое маловероятно, хотя и не исключено. однако в целом это роли не сыграет так как на одну и ту же тему будет парситься 7-8 статей из поисковой выдачи и уж в одной из них точно будет основной текст достаточного объема
Если на сайте есть поддержка микроразметки для FB и т.п. - то вам повезло.
Выцепляется на раз.
Выглядит - красиво.
Как раз то, что задумывал автор сайта.
Я бы начал с попытки определить микроразметку Есть готовые библиотеки, которые делают сие в один-два вызова.
Если нет микроразметки, то менее точным методом парзить вручную - ну это вам другие ответчики пишут как.
Простой
