Как получить содержательную часть страницы?

Question

[Zawchik]

Доброго дня хабрасообществу!


Через cURL прочитана страница, теперь нужно из неё вытащить содержательную часть, т.е. сам текст, без меню, комментариев, шапок, подвалов и прочего. Посоветуйте, как это можно сделать «малой кровью»? Подозреваю, что это должен быть какой-то шаблон в preg_match…

Answer 1

[EugeneOZ]

Не надо парсить HTML регулярками.
Читайте на StackOverflow: stackoverflow.com/a/1732454/680786

Answer 2

[Yuri Morozov]

Люди на эту тему научные статьи пишут, а Вы хотите preg_match обойтись :)

Answer 3

[Urvin]

function getContentFromHtml($aText)
{
	return preg_replace(
			array(
				'@<head[^>]*?>.*?</head>@siu',
				'@<style[^>]*?>.*?</style>@siu',
				'@<script[^>]*?.*?</script>@siu',
				'@<object[^>]*?.*?</object>@siu',
				'@<embed[^>]*?.*?</embed>@siu',
				'@<applet[^>]*?.*?</applet>@siu',
				'@<noframes[^>]*?.*?</noframes>@siu',
				'@<noscript[^>]*?.*?</noscript>@siu',
				'@<noembed[^>]*?.*?</noembed>@siu',

				'@</?((address)|(blockquote)|(center)|(del))@iu',
				'@</?((div)|(h[1-9])|(ins)|(isindex)|(p)|(pre))@iu',
				'@</?((dir)|(dl)|(dt)|(dd)|(li)|(menu)|(ol)|(ul))@iu',
				'@</?((table)|(th)|(td)|(caption))@iu',
				'@</?((form)|(button)|(fieldset)|(legend)|(input))@iu',
				'@</?((label)|(select)|(optgroup)|(option)|(textarea))@iu',
				'@</?((frameset)|(frame)|(iframe))@iu',
				'@<[^>]*>@siu',
				'@&[^;]+?;@siu',
				'@(\s+)@siu'
			),
			array(
				'',
				'',
				'',
				'',
				'',
				'',
				'',
				'',
				'',

				'$0',
				'$0',
				'$0',
				'$0',
				'$0',
				'$0',
				'$0',
				'',
				' ',
				' '
			),
			$aText
		);
}

Вот такое есть в моем загашнике. Не фонтан, конечно.

Comments

[Степан]

Используя DOM Parser всю вашу функцию заменит $e->plaintext

Answer 4

[Gesper]

Попробуйте раскурить code.google.com/p/boilerpipe/

Comments

[Gesper]

А еще можно воспользоваться Readability

[Zawchik]

Нужно на php…

[Евгений Борисов]

CURL + boilerpipe-web.appspot.com/

Answer 5

[librarian]

code.google.com/p/arc90labs-readability/ proof of concept от создателей ReadAbility.

Answer 6

[avalak]

Используйте Simple HTML DOM или другие библиотеки с аналогичным функционалом.

Comments

[Zawchik]

Спасибо, интересная вещь. Однако нужно вытащить содержательную часть, а где она в коде зарыта, заранее неизвестно… Разве что выковырять всё, что в div`е, содержащем h1…

Answer 7

[m08pvv]

Если речь о статье на Хабре, то открыв код статьи сразу видно, что вся статья содержится в
<div id="post_123456" class="post shortcuts_item">

При этом post_123456 — номер поста, который есть в URL

Сам текст (без заголовка, списка хабов и т.д.) содержится в
<div class="content html_format">

Ну а если речь идёт про общий случай, то надо использовать парсер html, ибо регулярками не обойтись

Comments

[Zawchik]

Не, не о Хабре. Как раз общий случай.

[m08pvv]

Регулярками дело не ограничится — нужно парсер или готовый или писать.

Answer 8

[Алексей Акулович]

Многие сайты, выполненные на популярных движках, имеют шаблонную верстку. А это вам на руку. Всякие DLE, WordPress и подобные четко выделяют css-классами основной контент страницы. Можно идентифицировать на этой основе примененный движок и однократно написать запросы к SHD (Simple HTML DOM, выше упоминалось). Для нераспознанных сайтов стоит искать знаковые блоки (main, content, body и т.п.).

Answer 9

[uadeveloper]

Можно и «почти» готовым вариантом воспользоваться
habrahabr.ru/post/114323/

Comments

[PO6OT]

пользователь удален и статья тоже :(

[uadeveloper]

Комментарий написан больше двух лет назад. Ищи кеш.

Answer 10

[Zawchik]

Спасибо всем за решения, однако всё равно остаётся много вопросов.
Например, сайты, которые будут основными при обкатке скрипта, мало того, что не содержат тега h1 в принципе, так ещё и свёрстаны на таблицах и ASP со всем вытекающим мусором.
А вот, скажем, плагин к хрому evernote сразу безошибочно выделил нужный столбец. Или вот как ВКонтакте сделали — скармливаешь им ссылку, они сразу «просмотр» и там содержательная часть статьи.
Вот нужно что-то аналогичное…

Comments

[Степан]

Где вы нашли такое на ВК?
Если вы о лайках и шарингах то там разработчик сайта сам задает заголовок/текст/скрин.

Answer 11

[Степан]

Какой либо универсальный парсер думаю вы не найдете.
Можно конечно попробовать написать функционал для всех популярных CMS, но стоит ли оно того?

Для парсинга тоже рекомендую Simple HTML DOM. Он как раз отлично подходит для этой задачи.

Answer 12

[deadkrolik]

У вас стоит задача написать универсальный парсер? Чтобы для любой страницы примерно мог выдать заголовок и тело?

Comments

[Zawchik]

В общем, да. Сейчас я написал выборку из title, body, h1, получение и вырезку всех ссылок. Без ссылок, голый текст, в целом подходит, но хочется лучше.
Кстати, все выборки получились через preg_match и preg_replace

[MrMig]

Если вам удастся написать парсер для общего случая (выделение контента с произвольного сайта без информации о структуре макета), то вполне возможно будет продать его тому же гуглу. И это не шутка. Задача довольно нетривиальная, для узких юзкейсов решаема, но в целом беда.

[PO6OT]

MrMig: круто. я богат

[PO6OT]

MrMig: мне сейчас показалось, что вы написали глупость. всё нормально у них с выделением содержимого. вы что-то отстали

Answer 13

[Александр Хмелев]

Очень актуально. Поделитесь, решение было найдено?

Answer 14

[Максим Дьяченко]

Вот здесь я использовал для этих целей два алгоритма — добавить всё это уже описанныйе варианты отбора чистого текста. Отфильтровать тут было чуть умнее — все i, strong, h1 и т.п. заменял на b.
Все p, span, div и т.п. заменял на разделитель какой-то (не помню уже). Все незначащие теги типа head img и т.п. удалял.

В результате получалось множество блоков текста, в которых был чистый текст, выделенный текст и текст со ссылками.
дальше я вычислял для каждого блока количество текста в блоке, какой процент этого текста выделенный, и какой под ссылкой.
Блоки в которых текст был слишком коротким или в нем было слишком много выделений или ссылок я отбрасывал.

Если кому будет интересен мой говнокод шестилетней давности (а он 99% что дикий был), то могу дать в личку. Но лучше воспроизведите алгоритм сами. Будет адекватнее :)

Answer 15

[Алексей]

Попробуй simplehtmldom.sourceforge.net