Готовые решения для классификации текста?

Question

[geebv]

Требуется: отдаем текст, в ответ получаем категории к которым относится текст.

Пример

Турбина Mazda CX-7, Mazda MPS, Mazda CX7 оригинал.

Определить категории

Транспорт/Запчасти и аксессуары/Запчасти/Для автомобилей/Двигатель.

Подскажите, пожалуйста, где быстро можно создать такое решение? Например, Microsoft Azure Machine Learning? То что "вырастится" потом можно у себя использовать, без обращения куда-либо - то есть у себя локально?
Быстро - значит без глубокого погружения в тематику.

Пример взят из объявления на авито, положим имеется сопоставление названия объявления и категории к которой относится объяление. Так понимаю это необходимо для обучения.

Answer 1

[Сергей]

https://github.com/loguntsov/bayes

Answer 2

[xmoonlight]

Два варианта (выбираете любой):
1. Название в поисковик и парсинг всех категорий, в которых эта деталь найдена на других сайтах.
2. Берёте базу ПО TecDoc.

Затем, создаёте нейросеть на основе карт Кохонена и прогоняете полученные данные для создания кластеров: mechanoid.kiev.ua/neural-net-kohonen-clusterizatio...
После кластеризации всех данных - Вы получите искомое.

Comments

[geebv]

Поясните, пожалуйста, как сформировать из категория-текст входные данные для примера по ссылке - пара значений?

[xmoonlight]

egorbachurin: Прям так и гоните как есть: слева - полный путь категории (со всеми подкатегориями), справа - полное наименование:
"Mazda/Аксессуары/Запчасти/Для автомобилей/Двигатель:Mazda MPS"
Потом, оно расставит веса нейронов, образовав автоматически кластеры, а Вы - привяжете к ним полные названия категорий.

[geebv]

Возможно не верно выразился. Смотрю пример программы на Octave и вижу первое что он делает загружает данные
X = load("data/p04a/X.txt") ;

А данные это пара значений - точки

8.18570215e+00 7.05882995e+00
 8.73404283e+00 7.27640593e+00

[xmoonlight]

egorbachurin: я не знаю программу Octave, нейросеть можно и без неё сделать. А ответ на Ваш вопрос: скорее всего это загрузка весов нейронов уже обученной нейросети.

[geebv]

Судя по изображениям в конце статьи (рис1) эти точки не обученная нейросеть а исходные данные

[xmoonlight]

egorbachurin: сомневаюсь, что у точек не целочисленные координаты с плавающей точкой)

[geebv]

В таком случае остается не ясным как подготовить данные для обучения.

Так понимаю то что вы описали это и есть подготовительный этап - образование из точек сгустки (как на рис1 из статьи)

Прям так и гоните как есть: слева - полный путь категории (со всеми подкатегориями), справа - полное наименование:
"Mazda/Аксессуары/Запчасти/Для автомобилей/Двигатель:Mazda MPS"

Вопрос остается открытым.

[xmoonlight]

egorbachurin: Сеть Кохонена автоматически обучается и не нуждается в обучении по образцам. Кластеры - Вы сами именуете по входным данным после того, как уже все данные прогнали через сеть. В одном кластере будут данные с одним полным путём категории.
На рис.1 - уже готовые кластеры. (сеть работает в один этап, без необходимости обучения)

Answer 3

[Datasteward]

Классификация каталогов по продуктовой онтологии, в том числе запчастей.
Детализация по запчастям не глубокая, но подойдет как бейзлайн, например для кластеризации текстов.

datamaster.incon.ru