Как определять похожесть текста?

Question

[Семён Семёнов]

Предположим, что у нас есть твиты или заголовки статей. Хотелось бы понимать, что вот эти 10 новостей или твитов относятся к одному и тому же (например, к компании или событию). Как это делается? Хотя наверное немного глупый вопрос, но хотя бы как называется данный круг задач? Впервые в нём.

Кстати. Полагаю, что агрегаторы новостей примерно так и делают, т.е. они же их как-то группируют, верно?

Answer 1

[Dimonchik]

это делается не одной функцией

извлекаются сущности, сравниваются тексты и т.п.
см. https://tech.yandex.ru/tomita/

для коротких можно и реения попроще, вроде поиска по отстемменому тексту

Answer 2

[Александр Скуснов]

Есть ещё алгоритм Jaro-Winkler'а.

Answer 3

[xmoonlight]

Называется тематическая кластеризация - идёт учёт синонимов и их "весов" между собой в зависимости от присутствия других рядом стоящих конкретных слов в связанной цепочке (публикации, комментарии или одном предложении).

Подобное, можно делать с помощью выделения сущностей (существительных и имён собственных: фио человека, названия и т.д.) и извлечения контекстных зависимостей.

Получить близкий поиск по таким цепочкам - можно здесь.