Как автоматически распознать название товара?

Question

[Elime]

Доброго времени суток!

Есть база товаров (~30 000) шин для автомобилей.
В существующей базе товаров, названия примерно в таком виде: Michelin Pilot Super Sport 295/35 R19 104Y

И есть прайсы поставщиков, обычно в xls формате, но формат названий товаров у каждого поставщика разный, может быть например 295/35 R19 Michelin Pilot Super Sport 104Y или 295/35R19 104Y Michelin Pilot Super Sport или в других вариациях. Плюс поставщик к названию товара может еще добавить какое-то свое внутренное обозначение или сократить полное название модели небольшой аббревиатурой (например: Michelin Pilot Alpin 4 275/30 R20 97W, сокращает как Michelin PA4 275/30 R20 97W и т.д)

Стоит задача автоматически правильно находить товары по базе, используя названия из прайсов поставщиков.

Возможно существует какой-то инструмент, API для грамотного поиска. Подумывал над использованием API Я.Маркета для поиска названий товаров. Но я нахожусь в Украине, а у нас на данный момент этот сервис заблокирован...

Спасибо за внимание, надеюсь на помощь.

Скриншоты с фрагментами асортимента нескольких прайсов поставщиков, для примера:

Answer 1

[Никита Ермиличев]

Первое, что бы я сделал, это собрал базу брендов (например Michelin, Pirelli и тд). Дальше необходимо распарсить параметры резины: 275/30 R20, тем самым мы сужаем поиск. Дело остаётся за малым).

PS

Но я нахожусь в Украине, а у нас на данный момент этот сервис заблокирован

Если проблема только в этом, то это вообще не проблема :)

Comments

[Elime]

Не хочется заниматься обходом блокировок, когда-то пользовался их API для получения отзывов о товарах, там нужно было писать IP адрес в тех.поддержку, с которого я буду парсить, а если буду использовать прокси и т.п, стабильного IP скорее всего не будет, поэтому даже тратить время на это не очень хочется.

Спасибо за ответ!

[blugamire]

Elime: для серьезной задачи - выкупается свой VDS. Стоит это копейки. Адрес будет фиксированный.

[blugamire]

Первое, что бы я сделал, это собрал базу брендов (например Michelin, Pirelli и тд). Дальше необходимо распарсить параметры резины: 275/30 R20, тем самым мы сужаем поиск. Дело остаётся за малым).

После чего пользуясь фильтром описанным абзацем выше - выводим все что остается (варианты называний), благодаря, фильтру этого будет уже немного. И расставляем это вручную при помощи человека.

Answer 2

[Андрей Николаев]

Задача довольно интересная, но четкого решения придумать не могу.
Вообще, там должен быть артикул, но если уж его нет, то думаю целесообранее будет решение через составление полноценной единой базы.
Можно сделать несколькими сопосбами:
1) К существующей БД добавить таблицу с соответствиями "Название в прайсе" -> "id товара" (думаю наиболее простой и наиболее точный вариант, но довольно трудоемкий т.е. при появлении новой шины, нужно будет дополнять таблицу)
2) Парсинг строки (например регулярками) и поиск в БД по частям + поиск по сокращению (трудоемкий вариант, но тут возможны коллизии при автоматическом составлении сокращений)

Можно ли получить кусочек БД для тестов? Может чего придумаем.

Comments

[Elime]

К сожалению артикулов нету, вернее есть, но они внутренние у каждого поставщика, то есть они ни с чем не связаны и поиск по ним бессмысленный.
Мне кажется нужно использовать оба варианта одновременно.
1) Это 100% нужно добавлять и записывать таким образом связи между товаром в базе и товаром из прайса, потому что на один товар в базе может быть несколько предложений от поставщиков. Прайс должен обновляться ежедневно, поэтому дополнять таблицу нужно будет в любом случае, в сезон поставки у поставщиков практически ежедневно.
2) Для каждого прайса наверное нужно будет писать свой небольшой парсер что бы разбирать размер, бренд, модель, индексы нагрузки и скорости. У некоторых поставщиков разбито по отдельным колонкам бренд, размер, индексы, модель тут практически и не нужно ничего парсить, но так к сожалению не у всех.

Базу к сожалению на данный момент дать не могу, скину скриншоты из нескольких прайсов, для примера.

Answer 3

[Виктор Янышев]

MYSQL полнотекстовый поиск, конечно 1 к 1 не даст результат, но всё же.

Comments

[Elime]

Спасибо за ответ! Будем пробовать.

Answer 4

[heartdevil]

Можете попробовтаь разбить название товара на слова и генерировать перестановки.

Все равно придется, анализировтаь "шаблоны" приходящих названий товаров. Может быть там их и не много вообще.

Answer 5

[Владимир]

Напишите для каждого поставщика по отдельному модулю, которые будут парсить соответствующие таблицы и в итоге сведут всё в вашу БД с продуманной структурой. Хотя парсить xls - то ещё удовольствие........ Можно автоматизировать их конвертацию в csv или xml - там будет попроще.