Как определять схожесть названия товара от разных поставщиков?

Question

[Ken Jee]

Проблематика такова. Товарный ассортимент интернет магазина формируется на основании нескольких excel-файлов от разных поставщиков. Допустим в файле поставщика "А" есть товар "Пылесос Тайфун черный", а в файле поставщика"Б" есть такой же товар, но с немного измененным названием "Пылесос Тайфун (цвет: черый)". Как выявлять схожесть товаров, чтобы свести к минимуму наличие в базе данных одинаковых (дублирующих) товарных позиций?

Comments

[Dimonchik]

там не не две строки ответ

в целом - искать похожесть, от Левенштейна до нейронных сетей

[Кирилл Петров]

Я бы создал индекс словарь с указанием какой ключевик к каким товарам относится. Это пригодится и для будущего поиска по товарам и поможет найти дубликаты. И не забудьте про склонения в русском языке.

[Araik]

В PHP есть встроенные функции:

similar_text()

Вычисляет степень похожести двух строк по алгоритму, описанному в Programming Classics: Implementing the World's Best Algorithms by Oliver (ISBN 0-131-00413-1). Эта реализация алгоритма не использует стека, использованного в оригинале, вместо этого применяются рекурсивные вызовы, что в некоторых случаях может ускорить процесс. Следует отметить, что сложность алгоритма составляет O(N**3), где N - длина более длинной из двух строк.

levenshtein()

Расстояние Левенштейна - это минимальное количество вставок, замен и удалений символов, необходимое для преобразования str1 в str2. Сложность алгоритма равна O(m*n), где n и m - длины строк str1 и str2 (неплохо по сравнению с similar_text(), имеющей сложность O(max(n,m)**3), но все же довольно много).

В простейшей форме функция принимает в качестве аргументов две строки и возвращает минимальное количество вставок, замен и удалений символов, необходимое для преобразования str1 в str2.

Второй вариант принимает три дополнительных аргумента, задающих стоимость операций вставки, замены и удаления. Этот вариант универсальнее первого, но не так эффективен.

И вот такая еще статья есть: Расстояние Левенштейна в MySQL и алгоритмы нечётко...

Answer 1

[Илья Герасимов]

ну например индексирование каталога sphinx-ом и вывод возможных дублей на моменте импорта, либо похожие средства поиска

Answer 2

[d-stream]

В общем случае для достаточно однозначной идентификации были придуманы номенклатурные номера. А так же альтернативные коды для альтернативно одаренных поставщиков со своими кодами и т.п.
А в частном - есть куча рисков смешать в разделе кухонный со строительным миксеры или опять же строительный и не очень вибраторы...

Answer 3

[ТыжСисАдмин]

Давно было, где-то в начале 2000-х.

Выгрузка в каталог осуществлялась из 1С 7.7., предварительно в эту самую 1С загружались все прайсы поставщиков, для каждого поставщика был справочник синонимов.
"Пылесос Тайфун (цвет: черый)" => "Пылесос Тайфун черный".
При импорте прайса, просто проверялись наименования по справочнику синонимов и приводились к общему виду.

Очень тупое решение в лоб, но к счастью это были "авто шины" и более или менее у всех было одинаково.

Answer 4

[Евгений]

В своем проекте используем сравнение двух строк при помощи "Расстояния Левенштейна" для предотвращения внесения дублей в справочник организаций, ибо кто-то пишет Роснефть, кто-то РОСНЕФТЬ, кто-то ставит кавычки в названии, а кто-то не ставит, и все в таком духе. Вполне рабочий вариант.