Как категоризировать товары на сайте?

Question

[Сергей Минаев]

Есть множество некатегоризированных товаров, нужно как-то сделать так, чтобы скрипт допустим сразу делал вложенную категорию, например есть товар - утюг, и в описании сказанно что он умеет работать с паром и например бренд фирма "ежик", а цвет у него белый в синюю точку.

Соответственно нужно дать ему следующие категории:
Бытовая техника - Утюги - Паровой
Бытовая техника - Утюги - Производители - Ежик
Бытовая техника - Утюги - цвет - белый - в синюю точку

Пытался в фасттекст, но что-то не задалось)
Ткинте носом плз куда копать, может уже есть готовые решения на гх ?

Comments

[mayton2019]

Как представлены исходные данные?

[Сергей Минаев]

mayton2019, В виде сырого текста, есть описание(из него и надо получать категории), заголовок

[mayton2019]

Сергей Минаев, успех мероприятия будет сильно зависеть от того как составлено это описание. Если это копи-паста таблицы например где мы знаем что каждый sentence - это одельная строка и отдельное свойство товара - то тогда задача чисто техническая. А если это - проза, где кто-то очень вольным стилем со множеством эпитетов писал дескыть... Несравненный и неподражаемый паровой утюг скрасит ваш досуг.... и т.п. то здесь надо чесать репу.

[Сергей Минаев]

тут стоит вопрос как именно "подогнать" текст под существующие категории
Но не просто что если в тексте есть слово "белый" чтобы он относил к категории "товары белого цвета", потому что белый может быть как обьект так и например описание что цвет белый белья после стирки. Поэтому подумал что нужно все таки обучать нейронку.

Я вроде находил решения, но везде только одну категорию можно подставить, а это не совсем точно надо.

[mayton2019]

Сергей Минаев, вобщем успехов вам. Но я не уверен что вам нужна "нейронка".

Answer 1

[Сергей Ильин]

странно, что в фасттекст не задалось. У вас, по сути, как я понял из вашего вопроса, задача разложить описание товара на несколько категорий. Ну так и давайте по шагам:
1/ берем текст, берем обученную модель, находим, что товар - утюг. Ок, прекрасно. (Кстати, на верхнем уровне даже модель не нужна - регулярок, наверное, достаточно, но это вам решать)
2/ Снова применяем фасттекст к тому же описанию, но ищем что-то про пар (вообще, тут можно искать в один проход, по сути, но надо правильно считать метрику - вам же вначале надо сегментировать утюги).
3/ записываем айдишник этого утюга в паровые утюги, ок.

По сути, вы из текста должны вытащить несколько сущностей. Попробуйте DeepPavlov - может взлететь.