Как настроить релевантность поиска PHP + MySQL?

Question

[alabs]

Добрый день.
Пример поиска - https://4ip.info/
Вводим "iphone 6", выдает все содержащее iphone 6 или iphone 6s , но не выдает, например, из строки, iPhone 7 1960 mAh, orig.
Так же и при запросе "6 iphone" .

Поиск по конструкции like '%iphone%' and like '6' найдет кучу всего лишнего. Полнотекстовый поиск вообще на цифру 6 забьет. Sphinx цифру тоже пережует, скорее всего.

Есть идея со словарем, но надеюсь, что можно как то проще организовать.

Буду рад предложениям, спасибо.

Comments

[d'Ivan]

но не выдает, например, из строки, iPhone 7 1960 mAh, orig.

а почему должен был выдать?

Поиск по конструкции like '%iphone%' and like '6' найдет кучу всего лишнего

это уже не полнотекстовый поиск.
Попробовал сам, результаты вполне вменяемые.
Мы же не ожидаем от пользователя записи конструкций запросов.

Answer 1

[alabs]

Проблему решил в рамках php + mysql. Поиск не нагруженный на сайте. Вот решение:

Завел словарь моделей.

<?
	$slovar = array(
		'iphone 6' => 'iphone 6',
		'6 iphone' => 'iphone 6',
		'iphone 6s' => 'iphone 6s',
		'6s iphone' => 'iphone 6s',
		'iphone 7' => 'iphone 7',
		'7 iphone' => 'iphone 7',
		'iphone 7s' => 'iphone 7s',
		'7s iphone' => 'iphone 7s',
	);

Далее в поисковой строке заменяю все словосочетания, на словосочетания где вместо пробела нижнее подчеркивание. После разбивки поискового запроса на слова возвращаю пробелы на место.

$tmp = substr( $tmp, 0, 40 ); //обрезаем строку
//делаем массив с подчеркиваниями
		foreach($slovar as $k=>$v){
			$arr1[] = $k;
			$arr2[] = str_replace(" ", "_", $v);
		} 
//заменяем в поисковом запросе словосочетания
		$tmp =  str_replace($arr1, $arr2, $tmp);
//бьем поисковую строку  на пробелы
		$tmp = explode( ' ', $tmp );
//пробелы заменяем на конструкцию SQL
		$where = "`title` LIKE '%" . implode ( "%' AND `title` LIKE '%", $tmp ) . "%'";
//возвращаем в запрос обратно пробелы
		$where =  str_replace("_", " ", $where);

Answer 2

[Иван Шумов]

Sphinx цифру тоже пережует, скорее всего.

Не попробуешь - не узнаешь.

А вообще для таких задач используется Elasticsearch

Comments

[d'Ivan]

А чем он лучше Сфинкса или Solr?

[Иван Шумов]

Роман Мирр, Solr работает на том же ядре - Lucene, просто делает это немного иначе. Вообще эти два проекта сливаются вместе. Sphinx делает все кардинально иначе и мне это очень не нравится - обновлять индексы при частых изменениях совсем не комфортно

[d'Ivan]

Иначе - это ясно. А с точки зрения результатов поиска по теме вопроса?

[alabs]

Иван Шумов, так у них же реал тайм индексы вполне отличные. При добавлении инфы просто делаем еще один запрос SQL к сфинксу и норм.

[Иван Шумов]

Роман Мирр, давно не видел, поэтому ну скажу. Вообще я его в продакшн не видел последние 10 лет ни у одной вменяемой организации

[Иван Шумов]

alabs, SQL для поиска это дичь) поиск же это про другое (полнотекстовый поиск за поиск сегодня не считается)

[d'Ivan]

Иван Шумов, Понятно. Нет информации.
То есть Сфинкс не рекомендован лишь потому что не встречался

последние 10 лет ни у одной вменяемой организации

[alabs]

Иван Шумов, я говорю про Sphinx. Обновление, удаление, добавление и поиск у него на SQL запросах уже года три, если не ошибаюсь.
То есть, мы к сфинксу обращаемся обычными SQL запросами. Правда, есть свои ограничения.

А тут мне интересно мнение, будет ли такой же релевантный поиск, от тех людей, кто сталкивался. Не охота ставить сфинкс, настраивать его а потом понять, что он не подходит, так как индексы порезали цифры)

[Иван Шумов]

Роман Мирр,

Понятно. Нет информации.
То есть Сфинкс не рекомендован лишь потому что не встречался

Ну как бы вообще-то да) популярность очень сильно влияет на развитие продуктов и Sphinx в принципе морально устарел.

Вообще я считал что погуглить принципиальные отличия Sphinx и ElasticSearch можно не устраивая перепалку, но если очень хочется то: Sphinx собирает данные, а в Elastic надо их отправлять, а так же в Elastic есть из коробки такие вещи как invertedIndex, стимминг, лемматизация, стоп-слова, токенизация и все это под тонну языков, включая русский. Как сейчас дела обстоят у Sphinx я не смотрел, но в этом они всегда яростно отставали.

[d'Ivan]

Иван Шумов, рекомендация лишь на основе популярности не имеет инженерной составляющей.
С точки зрения поиска текста интересно чем выделяется в лучшую сторону именно ElasticSearch?

[Иван Шумов]

Роман Мирр,

invertedIndex, стимминг, лемматизация, стоп-слова, токенизация

вот этим отличается

А что до популярности так это более чем инженерия. Если у вас есть технология, которая решает проблему, но специалистов в ней надо искать долго и упорно то это плохая технология по тому что поддержаниях будет редкой и дорогой.

[d'Ivan]

Иван Шумов,

invertedIndex, стемминг, лемматизация, стоп-слова, токенизация

это все также поддерживается в Sphinx еще как минимум 5 лет назад
https://www.slideshare.net/AdrianNuta1/advanced-fu...
Мне же интересно чем отличается в качестве поиска.

[Иван Шумов]

Роман Мирр, лучше и быстрее)

А вообще6 ну, если совсем в детали лезть то тыц

[d'Ivan]

Иван Шумов, я надеялся увидеть там отличия в поиске.

лучше и быстрее)

и то и другое нужно в цифрах показать.

[Иван Шумов]

Роман Мирр, уже побежал делать тесты) вот сейчас только посплю, поем, потуплю в ютубчк)
А если серьезно то без шуток все это уже давно сделано и эластик никто по скорости и качеству обставить не может