Как автоматически вычленить текст новости

Question

[blueboar2]

Можно ли написать программу чтобы по веб-странице с новостью она автоматически определяла где эта новость, и, собственно, грабила ее в текст.

Понятно что точность будет не 100%. В принципе, этим кто-то занимался?

Comments

[blueboar2]

Что-то типа такого github.com/buriy/python-readability

Answer 1

[ValdikSS]

Есть такая штука — Readability, и у нее есть API.

Comments

[blueboar2]

Я могу ее вызывать из своих скриптов? Или она только как плагин к браузеру?

[ValdikSS]

Можете, есть биндинги для питона и руби.

[blueboar2]

Это хорошо. В принципе, тестовую страницу распарсил нормально. А нет чего-нибудь оффлайнового? С исходниками?

Answer 2

[Resager]

Тэг «искусственный интеллект» порадовал. Привел бы пример какие новости, с какого сайта. Можно создать для каждого сайта набор регулярок (набери в гугле «Регулярные выражения») и вытаскивать из HTML. А вообще ещё существуют RSS.

Comments

[blueboar2]

Это я в курсе. Регулярками я правда не пользуюсь, пользуюсь Python+LXML — все вытаскивается и работает. Где RSS есть там еще проще, да. Я имею в виду как раз решение с искусственным интеллектом. Чтобы не писать каждый раз регулярки или XPath-пути.