Какой поисковый движок опознает «икра красная» и «красная икра» как дубликаты?

Question

[Everything_is_not_so_bad]

Допустим, в БД mysql/postgresql имеются дубликаты одних и тех же выражений/терминов в колонке product_name. Как можно выявить такие дубликаты?
Расстояние Левенштейна не поможет. Какие ещё есть варианты?

Comments

[Александр Титов]

Ну все не так просто, например "красная шапочка" и "шапочка красная" явно не дубликаты...

[al_gon]

Александр Титов: Хороший пример!
Здесь накладывается семантика контекста.
Если человек в онлайн магазине в корневом каталоге, то да это не дублекаты. Надо выдовать всё.
Если человек в онлайн магазине в ветке "головные уборы", то спорно, почему нет. Клиент хочет "красная шапочка", давайте на выдачу "шапочки красные".

[Артур Гранд]

а если разделить предложение на массив слов, отсортировать по алфавиту, и искать расстояние по такому же индексу на каждый товар?

[Everything_is_not_so_bad]

Артур Гранд: именно так и реализовал. Читай мой ответ ниже.

Answer 1

[Everything_is_not_so_bad]

Набросал простенькую реализацию на языке Ruby для нахождения идентичных строк - дубликатов наименований.
Simple function for fuzzy string match

Answer 2

[al_gon]

н-грамы и коеффециенты.
https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%...

https://toster.ru/answer?answer_id=908115#comments...

https://en.wikibooks.org/wiki/Algorithm_Implementa...

Для тех кому интересно, как это бывает если это отдельный сервис www.findologic.com/ru/features
Они из австрии и на странице много маркетингового "блаблабла". Но есть и интересные моменты.

Answer 3

[xmoonlight]

Такой

Comments

[Everything_is_not_so_bad]

Спасибо. Интересен сам алгоритм.

[xmoonlight]

Роман Мирр: без понятия как там на 100% он работает, но видно, что алгоритм явно не стандартный и его не найти в открытых источниках....

[xmoonlight]

Роман Мирр: самое главное - он очень корректно сравнивает по сравнению с другими

[LNK]

Там же купить даже нельзя - ошибку выдаёт.

[xmoonlight]

NikHaker: Напишите по e-mail или через контакты.