Парсим/грабим веб-страницы без мусора?

Question

[Mixa]

В последнее время появилось много сервисов отложенного чтения, которые "грабят" контент сайтов прямо со страницы (не из фидов), красиво очищая все лишнее и оставляя только размеченный текст без всяких спанов, размеров шрифтов и прочего, да картинки. Например https://getpocket.com/

Вопрос. Встречал ли кто-то в открытом доступе скрипты, с помощью которых можно такое делать и прикрутить к собственному проекту, чтобы можно было и себе "засасывать" страницы? ;)

Answer 1

[Eugene 222]

Эта задача называется data region mining и является довольно хитрой проблемой, т.к. верстка может быть везде разной, а вы решаете задачу поиска основного контента на сайте(т.е. обрезать рекламу, навигационные блоки, левые вставки, спрятанный контент и прочее)
Вот вам на вскидку алгоритм:

1. Для каждой html ноды в дереве, вычислить её площадь(рендерите через phantom.js и вычисляете площадь через Element.getBoundingClientRect())
2. Удаляете все, что меньше средней площади на этом уровне. (Вычищаем не имеющие значения блоки)
3. Спускаетесь вниз на один уровень и повторяете алгоритм

В результате получите набор текстовых блоков, которые имеют максимальный объем на странице.

Вам нужно будет эмпирически до настроить алгоритм под ваш use case:
Например, если перед вами регион с большим количеством текстовых блоков, то достать текст из всех дочерних и уложить в регион(таким образом мы избегаем вырезки bold italic текста).

Дальше за вами стоит задача объединить эти регионы в статью/статьи(в случае с лентой).
--------
Существуют и более любопытные алгоритмы по вычислению попарной similarity между произвольными дочерними нодами с целью найти data region
Но это вам нужно читать опубликовынные статьи на эту тему, например:
dl.acm.org/citation.cfm?id=1060761

Answer 2

[Алексей Черемисин]

Конечно есть - lxml.de/lxmlhtml.html#cleaning-up-html
Ну и уже из очищенного можно выделять что нужно.
Да, забирать лучше библиотекой requests - docs.python-requests.org/en/master

Answer 3

[ThunderCat]

Штучная ручная работа, под каждый сайт пишется свой маленький велосипедик.
Ну, не велосипедик, скорее прикручиваются другие колеса к одному велосипеду.

Answer 4

[xmoonlight]

ну, если кратко: это задача поиска ОСНОВНОГО контента страницы.
1. Удаляем все контейнеры, с количеством дочерних элементов превышающих 1.
2. Чистим контейнер body от всех тегов, кроме тегов-контейнеров (div,td)
3. Находим контейнер (div,td) с самым длинным текстом.
4. Смело его грабим.

Comments

[ThunderCat]

ради интереса зашел на главную тостера, много хихикал )

[xmoonlight]

ThunderCat:

<div class="column_main">
              <main class="page">

[ThunderCat]

xmoonlight: особенно H и длинным текстом, как раз на баннер попадаем )

[xmoonlight]

ThunderCat: body-контейнер должен быть очищен от не контейнерных тегов))))

[ThunderCat]

xmoonlight: Плавали- знаем ) А еще есть рекламные посты, с пометкой, но под все критерии подходящие. То есть фильтр пишем ручками )

[xmoonlight]

ThunderCat:
1. На одной странице - ищем строго 1 пост/статью. Если 2 или более - то это легко детектируется.
2. Рекламный он или нет - да они все рекламные) так что это не важно) главное - что такой пост - ОДИН, а не блог-лист.

[xmoonlight]

ThunderCat: я поправил ответ! Спасибо за замечания!

[ThunderCat]

xmoonlight: кста, я вот в тексте фиганул тег span с другим шрифтом в теге p, а в нем сделал наклонный текст, не видать мне новости в граббере?

[xmoonlight]

ThunderCat: эти теги будут удалены. (все не контейнерные - удаляются перед проверкой)

[ThunderCat]

xmoonlight: а как же первым пунктом идет - Удаляем все контейнеры, с количеством дочерних элементов превышающих 1 - по этой логике весь пост - в мусорку

[xmoonlight]

ThunderCat: это по Вашей логике)))))
Пример:

<tag1>
<tag11>...</tag11>
<tag12>...</tag12>
<tag13>...</tag13>
</tag1>
<tag2>
<tag21>...</tag21>
</tag2>
<tag3>
<tag31><tag311>...</tag311></tag31>
</tag3>

Вот тут останется только tag21 и tag311, т.к. другие либо вообще не содержат элементов, либо содержат более одного.

[ThunderCat]

xmoonlight: это по логике дом объекта и Вашему алгоритму )

<div1>
  <div2>
    <span contetnt>
         some text
      <p>
        <i>more text</i>
       </p>
    </span contetnt>
  </div2>
</div1>

что останется после первого шага?

[xmoonlight]

ThunderCat:

<div2>
some text
more text
  </div2>

[ThunderCat]

xmoonlight: то есть span, i и p мы к дочерним элементам более не относим? ) ХТМЛ с Вами категорически не согласен ) Ок, это разметочные теги, ну а оформление в ckeditor, когда пихается в дивах картинки и проч. - тоже в мусор?

[xmoonlight]

ThunderCat: картинки не имеют текста - они автоматом в мусор. после того, как будет выяснен нужный блок (содержащий максимум текста) - он берётся со всеми тегами из исходного кода (не почищенного), включая ВСЕ ДОЧЕРНИЕ СЕКЦИИ И ТЕГИ.
Далее, мы с этим исходным кодом найденного блока делаем всё, что необходимо: удаляем всю/часть разметки, чистим лишнее или оставляем как есть, и т.д.

Answer 5

[Mikhail S]

JavaScript https://github.com/mozilla/readability

Answer 6

[Евгений]

Apist - отличная вещь! Позволяет с легкостью парсить страницы, обращайся к элементам в стиле jquery. Пример парсинга Хабра:

public function index()
{
	return $this->get('/', [
		'title' => Apist::filter('.page_head .title')->text()->trim(),
		'posts' => Apist::filter('.posts .post')->each([
			'title'      => Apist::filter('h1.title a')->text(),
			'link'       => Apist::filter('h1.title a')->attr('href'),
			'hubs'       => Apist::filter('.hubs a')->each(Apist::filter('*')->text()),
			'author'     => [
				'username'     => Apist::filter('.author a'),
				'profile_link' => Apist::filter('.author a')->attr('href'),
				'rating'       => Apist::filter('.author .rating')->text()
			]
		])
	]);
}

Возвращает данные массивом:

{
    "title": "Публикации",
    "posts": [
        {
            "title": "Проверьте своего хостера на уязвимость Shellshock (часть 2)",
            "link": "http:\/\/habrahabr.ru\/company\/host-tracker\/blog\/240389\/",
            "hubs": [
                "Блог компании ХостТрекер",
                "Серверное администрирование",
                "Информационная безопасность"
            ],
            "author": {
                "username": "smiHT",
                "profile_link": "http:\/\/habrahabr.ru\/users\/smiHT\/",
                "rating": "26,9"
            }
        },
        {
            "title": "Курсы этичного хакинга и тестирования на проникновение от PentestIT",
            "link": "http:\/\/habrahabr.ru\/company\/pentestit\/blog\/240995\/",
            "hubs": [
                "Блог компании PentestIT",
                "Учебный процесс в IT",
                "Информационная безопасность"
            ],
            "author": {
                "username": "pentestit-team",
                "profile_link": "http:\/\/habrahabr.ru\/users\/pentestit-team\/",
                "rating": "36,4"
            }
        },
        ...
    ]
}

Тут подробнее

Answer 7

[Александр Таратин]

Php-readability Какой порт выбрать?
https://github.com/masukomi/ar90-readability

Answer 8

[Владимир Проскурин]

Для Python 3 использовал либу https://pypi.python.org/pypi/newspaper Получает только контент страницы. В большинстве сайтов с нормальной версткой работает отлично.

Answer 9

[KkJ]

Полно
Scrapy.