Как выполнить релевантный поиск?

Question

[Snewer]

Здравствуйте!

Имеется таблица с информацией о некоторых моделях.
В таблице поля: "Марка модели", "Год выпуска", "Название" и т.п.

Дана строка "Марка модели год выпуска название другие параметры", при чем порядок может быть произвольным, а так же возможны опечатки. Как отсортировать данные по релевантности исходя из данной строки?

Марка модели может быть вида "модель 1", где "1" — играет ключевую роль в релевантности. То есть, цифры и строки длиной 1 нужно учитывать.

p.s. записей в таблице не много - порядка 10 000. Общий размер текста, из полей так же не большой — подобные описанным выше полям.

спасибо!

Answer 1

[Smithson]

Боюсь, что средствами mysql - никак. Надо писать обвязку на каком-либо языке программирования, парсить строку по словам и по ним выполнять поиск по всем столбцам.
Насчет опечаток почитайте про Soundex и про нечеткое сравнение строк. Дело это не на пять минут.
И делать это надо было на этапе заполнения базы. Сейчас придётся переделывать.

Answer 2

[Артемий]

Fulltext Index может помочь теоретически, но лучше по автокомплиту поисковую строку формировать из базы. Это будет более эффективно.

Comments

[Snewer]

Объясните, пожалуйста, что имеется ввиду "по автокомплиту поисковую строку формовать из базы"

[Артемий]

Сорри "формировать" человек начинает набирать а снизу инкрементным поиском по строке варианты для выбора появляются. Так тэги например вводятся часто

[Snewer]

Артем HTMLDatabase: но для автокомплита нужно же сперва получить релевантные значения? не так ли? не выводить же сразу все результаты

[Артемий]

Степан Романов: Результаты получите, когда поисковую строку отправите. По автокомплиту саму посиковую строку сформируете релевантную к данным.

[Snewer]

Артем HTMLDatabase: в принципе вашу идею я понял. спасибо. но нельзя принудить человека использовать автокомплит, и он может написать ерунду) ерунду надо как-то обработать

[Артемий]

В этом и архитектурное решение. Ерунду нельзя ввести. Иначе либо Fulltext index либо Elasticsearh к базе присоединять как я подозреваю. Но это уже отдельная военная операция.

[Артемий]

Можно же вводимые данные ограничить автокомплитными через js.

[Snewer]

Артем HTMLDatabase: в принципе, что бы избежать ошибок, можно часть слова вырезать. пока думаю в сторону использования операторов LIKE

[Артемий]

Вырезание части слова это не тривиальный алгоритм. Будете год пилить.

[Snewer]

Артем HTMLDatabase: как вариант использовать Sphinx, но мне не хочется делать этого в силу не большого количества данных

[Артемий]

Степан Романов: Sphinx vs ElasticSearch: что выбрать?

Answer 3

[Teermit]

Правильное решение: использовать решения вроде Elastic.
Однако для этого Elastic надо куда-то поставить, что не всегда допустимо.
Любые другие решения будут костылём различной степени кривости.
Вариант с написанием обвязки будет катастрофически медленным, и, более того, не нужным, потому что всё можно сделать средствами СУБД
Костыльное решение, работающее на голой СУБД:

• Для каждого ряда в БД используя самопальную версию поиска подстроки, допускающую ошибки, найти вхождения каждого поля в строку, по которой ведётся поиск.
  
• Построить оценку каждого ряда, основанную на сумме длин найденных подстрок и количестве ошибок (этот пункт требует экспериментов на реальных данных).
  
• Отсортировать результат по этой оценке