Есть ли алгоритмы отрезания меню, подвала и прочей требухи со страницы для выделения содержимого?

Question

[PO6OT]

Мне нужно парсить страницы чужих сайтов для наполнения своей БД. Как обнаружить элементы интерфейса, чтоб впоследствии их удалить и оставить только содержимое?
10 минут гугления не дали результатов.

Answer 1

[MIsternik]

Java https://code.google.com/p/boilerpipe/
c# https://github.com/marek-stoj/NReadability

Comments

[PO6OT]

я пишу на php

[PO6OT]

мне нужны не скрипты, а принцип действия

[MIsternik]

habrahabr.ru/company/mailru/blog/200394

[PO6OT]

MIsternik: спасибо. то, что нужно

[PO6OT]

MIsternik: "Оказывается, есть вполне себе научные paper’ы посвященные этой проблеме (в том числе от сотрудников Гугла)."
и где раздобыть эти paper'ы?

Answer 2

[PO6OT]

5 минут яндексирования дали результат.
Про удаление малозначимых частей страниц при индек...

Answer 3

[Антон Штинов]

Примерный алгоритм:
1) Анализ сайта, если есть html5 теги article, section, то дальше использует их содержимое.
2) Если нету, то собираем несколько страниц сайта и ищем пересечения, то есть места где они разные, предварительно можно откинуть head
3) Если пересечений несколько то берем то, в котором самая большая разница.

Comments

[AlikDex]

все это филькина грамота. Именно для более четкого понимания поисковыми системами придумали микроразметку и ввели секционные теги в хтмл5 (). Однако на практике поисковики с такой разметкой загоняют сайты в глубины топа, когда как тот же сайт с тем же контентом но без такой разметки уверенно держится на первых местах. Вывод на мой взгляд очевиден. Не имея schem'ы и html5 разметки сканируемого документа, даже нынешние поисковики не способны отделить лишний мусор со страницы.

[Антон Штинов]

AlikDex: поисковики успешно отделяют контент от остального мусора на странице. К примеру, для evernote есть веб клиппер, который довольно точно выделяет на странице полезный контент отсекая шелуху, еще есть куча сервисов которые хорошо умеют извлекать полезную информацию с хтмл страницы.

[PO6OT]

на счет пересечений понятно.
а что делать, когда сайт одностраничный?
как скрипту понять, что меню это меню, а не статья?

[Антон Штинов]

Вадим Егоров: надо придумать какую-то эвристику (набор правил), которая будет искать признаки контента. К примеру, если идет несколько подряд ссылок - то скорее всего это меню и эту часть можно исключить. Если много текста и мало тегов то с большой вероятностью - это полезный контент. Еще можно смотреть на ширину и позицию блока - самый широкий в центре - это скорее всего контент.

[PO6OT]

Антон Штинов: так я и спрашиваю этот набор правил.

[Антон Штинов]

Вадим Егоров: Смотрите, как устроены подобные штуки :
https://code.google.com/p/arc90labs-readability/
https://github.com/buriy/python-readability
https://code.google.com/p/boilerpipe/
www.algorithmist.ru/2010/11/html-1.html

Еще смотрите предыдущие аналогичные вопросы:
Как получить содержательную часть страницы
Как скопировать полезный контент из html?

Answer 4

[Winner777]

Если речь о том, чтобы поисковые движки лучше видели контент, то в этом случае рекомендуется использовать html5 теги типа header, footer, nav, menu и т. д. Но а вообще поисковые движки вроде как умеют одинаковые элементы на страницах одного сайта игнорировать и находить контент.

Comments

[PO6OT]

Я пишу парсер страниц, а не подвожу свой сайт под парсер. Как обнаружить элементы интерфейса, чтоб впоследствии их удалить?

[AlikDex]

Вадим Егоров: парсить то, что нужно, используя библиотеки для DOM'a или регулярные выражения.

[PO6OT]

AlikDex: а как узнать, что нужно парсить? как скрипт поймет, где меню, а где содержание?

[AlikDex]

Вадим Егоров: никак. задаются алгоритмы и правила, по которым нужно парсить тот или иной сайт\страниц\группу страниц. Все делается в индивидуальном порядке, поскольку каждый разраб сайта делает все по своему шаблону. Универсальных решений не существует.