Как сделать на сайте интеллектуальный поиск?

Question

[Дима Долготер]

Сайт на opencart 2.3. Там несколько тысяч товаров. Клиенты хотят поиск "шоб как у гугла" вводишь слова с ошибкой, вводишь бренд +товар (apple mac), вводишь часть артикула, вводишь названия брендов\товаров с пробелами в ненужных местах (macpro, mac pro, imacproversion9000), вводишь макбук и чтоб поиск корректно все это обработал и выдал нужный товар.
Как это сделать? Я читал что нужно искать по файлу xml со всеми товарами, но не понимаю как. Нашел только поиск от яндекса, но там надо чтоб цены были в рублях, а у меня в гривне.
ЗЫ
Я допиливал стандартный поиск:
1) вырезаем из поисковой фразы все лишние символы типа \ ) ( " и тд и ищем. ничего не нашли идем дальше
2) разбиваем очищенную поисковую фразу на слова и ищем по каждому слову ничего не нашли идем дальше
3) проверка на кирилицу если написано на кирилице транслитерация символов в латиницу ничего не нашли идем дальше
4) разбиваем очищенную поисковую фразу в нужнов словаре на слова и ищем по каждому слову ничего не нашли идем дальше
5) делим поисковую фразу на кучу слов по 4 символа и ищем по каждому

это бред конечно, но уже не знаю как улучшить поиск самостоятельно.

Comments

[Антон]

а причем тут xml файл, у вас товары в БД же?

[Дима Долготер]

Антон, да. но я читал что надо иметь в корне актуальную выгрузку в файл с товарами чтоб оно по ним искало

[Антон]

SpiderPigAndCat, через like в бд ищете?

[Дима Долготер]

Антон, не 100% уверен, но да

[Антон]

SpiderPigAndCat,

Я допиливал стандартный поиск:

И как вы его допиливали, если даже не уверены в том, как вы делали?

[Dmtm]

добавить в базу наиболее частые запросы, руками связать с товаром?

Answer 1

[xmoonlight]

Такой поиск делается через поиск самой длинной совпадающей "цепочки" в "дереве" связанных слов.
Слова - тоже самое, но только это "дерево" букв.
Ошибки - "глубина" вложенности просмотра всех связей текущего "узла" в "дереве" во время поиска.

Всё крайне просто.

Comments

[Dimonchik]

осталось создать дерево ))

[xmoonlight]

dimonchik2013, и что тут сложного?

[Dimonchik]

присоединить "макбук" к Apple A1466 MacBook Air 13 и т.п.

впрочем, это проблема ТС )

[xmoonlight]

dimonchik2013, причём тут макбук?!

[Dimonchik]

ему по запросу "макбук" нужно отдать "Apple A1466 MacBook Air 13"
но это еще +- транслитом
а вот imacproversion9000 ...

[xmoonlight]

dimonchik2013, это называется фонетическое сжатие и делается через маскарадинг минимум двух слогов и располагается в порядке убывания точности трактовки (длины заменяемого паттерна). Поиск - рекурсия до первого повтора.

Образец:
macbook: macbook=макбук
notebook: note=ноут
oo: у

[Dimonchik]

imacproversion9000

)))))

[xmoonlight]

dimonchik2013, разбивка склейки - уже отдельная тема.
1. Прописная, заглавная - разрыв: cB => c B.
2. Цифры отдельно от букв, если хотя бы одна содержит прописную: Air13 => Air 13
3. Спец. символы - удаляем, только те, которые являются знаками препинания или непечатные.

imacproversion9000 - после отделения 9000, разделяем слово по нулевому количеству связей между узлами буквенного графа для данной цепочки букв, начиная следующую часть (после отделения левой части) анализировать с "нуля".

[xmoonlight]

dimonchik2013, я не успеваю писать с мобилы)))

[Dimonchik]

круто! пожелаем нашему другу удачи и мощных процессоров )) не уверен, что разделить получится однозначно, но метод заслуживает внимания )

[xmoonlight]

dimonchik2013, ))
проц не нужен мощный, т.к. там банально путешествия по графу от узла к узлу.

не уверен, что разделить получится однозначно

если ввели новые слова в склейке, не содержащиеся в графе - то просто не будет знаний и тогда, да - уже никак...

Правда, можно эвристику заюзать: сверить частотную волну для похожих наборов символов и по всплескам разделить, но использовать только как доп. вариант.

[Dimonchik]

все так, но для 1500 айтемов отпарсить конкурента проще )

[xmoonlight]

dimonchik2013, ну такое!
Новые товары будут добавляться на рынок постоянно, нужно парсить периодически, доп.забота...
Нафиг.. Лучше сразу максимально универсально сделать и потом забыть про это надолго.

Answer 2

[Dimonchik]

нормас подошел

но задачка не совсем простая
чудесов нет - вводимая фраза мапится на строгую выверенную (типа нормированную) (или сразу на результаты) и выдается

вот как смапить - куча вариантов, возьми книженцию и рядом там еще есть (для сложных задач и все такое)

проще всего - отпарсить умного конкурента (или Гугл, но его сложнее, хотя...) и сделать маппинг в авторежиме

или там с выдачей яндекса заморочиться, в общем, do it

Comments

[Дима Долготер]

бла бла бла ссылка. бла бла бла дуит))

[Dimonchik]

да, братан, разжевать не за бесплатно

тем более с отрицательного уровня

Answer 3

[k2lhu]

Предлагаю посмотреть на elasticsearch, индексируете все товары и можете получать результаты даже с неправильно введенными фразами используя нечеткий поиск

Comments

[xmoonlight]

Прошлый век.

[k2lhu]

xmoonlight, когда пишите такой коммент, хотя бы пишите что считаете современным)

[xmoonlight]

k2lhu, точно не какой-либо продукт, а именно быстрый и простой алгоритм решения задачи.

Answer 4

[Пума Тайланд]

Поставьте сфинкс или эластик мерч, плагина под это дело есть в опенкарте