Какой метод кластеризации текстов лучше использовать при большом количестве тематик?

Question

[MIsternik]

Интересны алгоритмы которые могут показать вероятностную оценку принадлежности к нескольким кластерам
"Label": "Science & Mathematics",
"Probability": 0.148,

"Label": "Astronomy & Space",
"Probability": 0.713

Есть у кого нибудь подобный опыт ?

Comments

[xmoonlight]

А где брать начальное "дерево" признаков тематических кластеров (по тематикам)?

[Александр Скуснов]

Что означает вероятность? (согласен с ответом al_gon)

[MIsternik]

По-моему это довольно очевидно из примера который я привел.

Answer 1

[al_gon]

Вообще здесь называть это лутше классификация текстов, а не кластеризация. Метрика "похожести", а не вероятностная оценка.
Хотя чисто в разговорном языке, я бы тоже сказал вероятность, того что документ относится к этому классу или категории, столько и столько.

Кластеры сначала нужно образовать, а Вы говорите о готовых категориях. Которые скорее обладают готовой помеченной коллекцией.

Вообще Вам сюда https://ru.wikipedia.org/wiki/%D0%97%D0%B0%D0%B4%D...

и если у вас нет начальных категорий совсем, тогда сюда

citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1....

Comments

[al_gon]

Метрика "похожести"=степень подобия

[MIsternik]

На сколько я понимаю, классификация производится по уже известным категориям, а было бы неплохо, если бы при появлении новых тематик они выделялись в новые категории.

ИЗ классификации я пробовал Random Forest, но при большом количестве категорий (не помню уже сейчас от скольких ) у него сильно падает точность.

Сейчас буду пробовать Latent Dirichlet allocation и Linear discriminant analysis.

[coolakov]

MIsternik: > было бы неплохо, если бы при появлении новых тематик они выделялись в новые категории.
И чтоб названия для новых категорий сам придумывал бы, да? И чтоб пылесосил и кофе варил.
Хорошо бы, но так не бывает.

[MIsternik]

coolakov: т.е. вы хотите сказать при кластеризации новые темы не будут выделяться ? Уверены?

[coolakov]

MIsternik: выделять новые категории - без проблем. но вот давать им осмысленные названия вроде "Science & Mathematics" боюсь, лишь мечта.

[MIsternik]

Ну это и ежу понятно, я про это и не писал.

Answer 2

[Vlad_Fedorenko]

Верно отметили, что если метки для текста заданы, то это классификация. Советую начать с логистической регрессии и tf-idf (опционально, добавить биграммы и триграммы).
Если меток нет и хочется получить их заданное количество, то смотрите в сторону латентного размещения Дирихле или латентно-семантического анализа