Как правильно реализовать парсер новостных сайтов с Яндекс Новостей?

Question

[Kuti]

Как правильно реализовать парсер новостных сайтов с Яндекс Новостей? Нужно получить чистый заголовок (без seo прибамбасов, можно смотреть на значение тега ), и чистый текст (не брать текст из футера и т. д, только текст статьи).

Задача была бы проста, если бы сайт был всего один. А сайтов будет много, нужно придумаaть какое-то универсальное решение. Если бы сайт был один, то я бы расставил ключевые точки копирования и все (например, я бы знал что текст статьи находится в div'е #blablabla). А заголовок можно получить легко - у всех сайтов на Я.Новостях есть h1. Так вот - как получить чистый текст статьи, не зная, с какого сайта копируется контент? Или придется писать под каждый сайт отдельный парсер?

Comments

[OVK2015]

curl + регулярки не предлагать?

Answer 1

[IceJOKER]

RSS

Comments

[Kuti]

Там есть RSS, но он недостаточно информативен. описание короткое там

[IceJOKER]

Kuti: другого универсального способа нет. многие рсс показывают полный текст в теге yandex:description (или как-то так, с названии присутствует Yandex)

Answer 2

[trevoga_su]

1. Воровать - плохо. И так уже все загадили своим копипастом
2. Универсального способа нет.