Как программно определить принадлежность фразы к определённой тематике?

Question

[trase8]

Как определить принадлежность фразы к определённой тематике?
Например, фраза "покраска стен" относится к тематике строительства, а "магнитная буря в Москве" - нет.
Какие используются алгоритмы в подобных задачах? Что копать? Машинное обучение? Нейронные сети? Может, что попроще!?

Answer 1

[Алексей]

Чисто как вариант - проанализировать выдачу в Яндекс.Каталоге.
Каких рубрик больше - к тому фраза и относится.
https://yandex.ru/yaca/?text=%D0%BF%D0%BE%D0%BA%D1...

Answer 2

[xmoonlight]

В любом случае - это сегментация, а сегментация - это дерево с поиском по-вхождениям цепочек или НС.
Если совсем просто и "на-пальцах": берёте дерево категорий и теги с любого сайта и составляете дерево сегментации: категория -> тег->вес.

Answer 3

[Сергей]

https://github.com/loguntsov/bayes - обучить, и производить классификацию :)
Вам нужно составить как можно большое кол-во пар обучения, ну а дальше дело техники.

Comments

[Александр Скуснов]

Можно взять англо-русский (любой) разговорник, там много (вернее, не много, но для начала хватит) тем, в каждой теме несколько ключевых фраз и слов.

Answer 4

[Юрий Кашницкий]

Topic Modelling (тематическое моделирование) - интересная и насыщенная математикой тема. Знакомиться лучше по видео К.В. Воронцова, например, в курсе с Яндексом и МФТИ на Coursera.