RSS агрегатор по типу Yandex News?

Question

[adlermark]

Всем привет.

Задача сделать RSS агрегатор как у Yandex News или Google News.
Сайт забирает RSS ленты у разных источников и выставляет в свою ленту. Но как быть если все источники написали по 1 новости на одну и ту же тему? Получается в ленте будет 50-100 одинаковых сообщений от разных источников.
Как их свести в 1 новость и при этом, чтобы читая эту новость можно было просмотреть эту эе новость от других источников как в том же Яндекс?
Есть ли готовые решения для этого?

Answer 1

[sim3x]

Есть ли готовые решения для этого?

Да, машинное обучение или использование https://ru.wikipedia.org/wiki/Расстояние_Левенштейна