Как сделать нечёткую кластеризацию текстов?

Question

[Goblin1101]

Суть такая: мне нужно написать простую нейросеть, которая будет кластеризировать описания игр по жанрам, используя алгоритм c-means из библиотеки skfuzzy. Я использую предобученную модель BERT. У меня есть собранный dataframe, у которого есть поля id, genres, name, summary. Ключевые поля тут genres (жанры) и summary (описание). Там 1000 объектов.

Теперь сам вопрос: мне нужно, чтобы нейросеть научилась определять максимум 3 возможных жанра у одной видеоигры по её описанию, но я не совсем понимаю, как это сделать. Я понял, что каждый кластер это отдельный жанр, всего таких будет 23. Но мне не понятно, как надо подготовить данные до их токенизации. Самый банальный вариант, это разбить на 23 кластера и дать нейросети их случайно распределить, но что делать после этого не совсем представляю, только начал этим заниматься.

Comments

[Goblin1101]

Немного поясню. В тех примерах, что я смотрел, тот фрагмент, который нужно определить был частью обрабатываемых данных, например было описание статьи, и самый первый столбец информации содержал её "настроение" в виде 1 или 0. И именно это значение также кодировалось и маскировалось. Но я не могу понять, можно ли также поступить, если у меня предугадываемое значение по сути является списком. Возможно можно через explode список развернуть чтобы у каждой игры было по несколько записей с разными жанрами, но в таком случае я боюсь что такие объекты будут считаться разными и не учитываться при кластеризации, то есть будет несколько объектов с одинаковыми id и описаниями,

[Valeri Tsvetkov]

Goblin1101, попробуйте самое сначала первое, что приходит в голову, развернуть список и сделать горячее кодирование каждого жанра в 0 или 1. Да, описания будут повторяться! Обучить модель задаче мультиклассовой классификации, а на выходе, например, softmax функция, которая даст вам вероятность для каждого класса. Тогда, как результат берете 3 самых вероятных класса по мнению модели.

Answer 1

[mayton2019]

Тебе нужно во первых поставить задачу в терминологии векторов (VectorDb, spark.mlib, pandas).
По сути надо сделать top 3 максимально близких жанровых вектора к текстовому описанию игры.

SELECT 
 distance(v_genre, v_game) as dist, genre, game 
FROM
 genres, games
.....
 (select top 3 by dist for each game)