Как категоризировать набор слов?

Question

[Injustive]

У меня есть набор слов (больше 5к слов) и несколько категория (15-20). Как мне автоматически определить категорию для каждого слова? Например есть слово fish, cat - Animals или laptop, telephone - Devices. Уже много чего копал в интернете. Остановился на вариантах FastText, word2vec. Я правильно понимаю, что мне нужно скачать вектора англ. слов. Потом брать слово и итерировать по категориям. Там где будет больше процент соответствия между словом и категорией, ту категорию для этого слова и выбирать?

Comments

[Zettabyte]

Остановился на вариантах FastText

Считаю себя очень слабым в питоне, но фасттекст скорее для поиска точных слов в больших текстах.
Т.е. набор слов для поиска наподобие вашего всего набора, а текст - вообще огромный. При этом автор говорит, что сильное улучшение в сравнении с regex начинается с массива для поиска от 500-т элементов.

Возможно, у вас может сработать вариант с предварительным ручным наполнением точными словами нескольких массивов, соответствующих вашим категориям, и поиском по ним.

Но, повторюсь, это дилетантское впечатление, сам я на фасттекст смотрел, но ни разу не пользовался. Если вы извлечёте из него какую-то пользу для решения своей задачи, я бы с удовольствием об этом почитал.
Либо даже просто меня поправите, если выше я ошибаюсь.

[Zettabyte]

Выше написал, по сути, бредятину.
Перепутал FastText и FlashText. Всё написанное выше - о последнем.

Answer 1

[imageman]

Я так понимаю, что категории у тебя собственные, не такие, как у авторов нейросетей?

Мне кажется (могу ошибаться) тебе следует набрать ключевые слова для каждой категории. По этим ключевым словам получаем вектор на предобученной модели (запоминать среднеарифметический вектор?). Не исключено, что придется какие-то категории разбить на подкатегории (для более однородных векторов ключевых слов).

Для искомого слова также получаем вектор, затем вычисляем расстояние (эвклидово, косинусное и т.п.). С какой категорией расстояние минимально - то наше.

В fastText есть возможность классифицировать текст или перевести слова в вектор.
https://gosha20777.github.io/tutorial/2018/04/12/f... вроде там вполне доходчиво. Как я вижу там нужно самому учить классификатор (я так понимаю ты хочешь использовать что-то предобученное?). Ну и ещё почитать https://sysblok.ru/nlp/kak-rabotaet-fasttext-i-gde...

И если ничего не получается, то ищем автора https://habr.com/ru/post/489474/