Выделение похожих частей текстов

Question

[rasstroen]

Интересуют алгоритмы анализа текстов для новостных сайтов — выделение групп «близких» по составу новостей. Конкретно алгоритмы расчета веса «похожести» двух строк.

Answer 1

[xmoonlight]

Попросите у яндекса или гугла алгоритм шинглов или просто скачайте!
Также, есть более лучший алгоритм, описанный в моём ответе: Как определить похожесть двух строк?

Comments

[rasstroen]

спасибо, теперь знаю что гуглить)

Answer 2

[briskly]

выделение групп «близких» по составу новостей

Это скорее задачи кластеризации а не похожести.
Готовые библиотеки на php не скажу, а если интересен python то запросто.
Известные алгоритмы
к-ближайших соседей
неотрицательная факторизация матриц
и много много других
Подробнее можно почитать тут:
scikit-learn.org/stable/modules/clustering.html#overview-of-clustering-methods