Как разбить web-документ на семантические блоки?

Question

[seowin555]

Доброго времени суток!

Подскажите, кто сталкивался с подобным, каким образом с помощью php можно разбить html-страницу на блоки: выделить основную часть с контентом, меню, футер и т.д., не зная структуру DOM?

Интересует в большей степени определение основного контента страницы.

В сети есть материалы на эту тему, но что-то я не совсем понял алгоритм реализации.

Например:
habrahabr.ru/post/210824
www.vestnik.vsu.ru/pdf/analiz/2008/02/2008_02_20.pdf

Answer 1

[xmoonlight]

Как раз занимался этим 2 года назад)
А все просто - это логическое вычитание двух страниц с разным наполнением:
две разные статьи, два товара и т.д. (т.е. "листовые" элементы структуры дерева)
Соответственно, после этого вы получаете как раз код только той части, которая изменилась.
Затем, сортируете блоки (из результата) по объему текста в порядке УБЫВАНИЯ и получаете код, содержащий контент (первый элемент списка).

Comments

[seowin555]

Спасибо за ответ!

Пробовал нечто подобное - добавлял код двух страниц в массивы, потом сравнивал массивы между собой.

Поясните, пожалуйста, что вы подразумеваете под фразой "логическое вычитание"?

У вас случайно не осталось кода, реализующего это?

[xmoonlight]

seowin555: Я делал аналитический анализ, так что кода нет. Логическое вычитание - это если одинаковое, то 0, иначе - 1.

[seowin555]

А вы делали вычитание чего? Каких именно блоков?

Например, если сравнивать каждый элемент дерева, то как это правильно сделать, если у нас, например, основной код страницы такой:

страница 1:

текст, который содержится на всех страницах

какой-то текст
картинка
какой-то текст
видео
какой-то текст

страница 2:

текст, который содержится на всех страницах

видео
какой-то текст
какой-то текст
картинка
какой-то текст

Получается, если мы сравниваем первый div () у двух страниц, то он не совпадает, так как внутреннее содержание меняется.

Хотя по факту он одинаков, так как меняется только контейнер (в нем различное содержание).

Вот этот момент не ясен, как определить, что именно в контейнере содержится контент, который меняется, а не в ?

[seowin555]

Блин...весь html код пропал..

[xmoonlight]

seowin555: там, где больше БЕЗССЫЛОЧНОГО! текста, тот и есть "контент".