Как настроить полнотекстовый поиск в Sphinx?

Question

[Джамалудин Османов]

Подскажите пожалуйста как правильно настроить конфиг для выполнения полнотекстового поиска в MySQL?
Есть таблица в БД со списком контактов (350000+) столбцы id, name. Задача: найти возможные опечатки ФИО и вывести их id. Выполнял поиск с помощью MATCH AGAINST для каждого ФИО.
т.е. Запрашивал список ФИО и для каждого из них выполнял запрос в БД MATCH AGAINST.
после перебирал результат с помощью levenshtein в PHP. Если была разница в 1 символ записывал в массив.
Один запрос выполнялся около 1-2 секунд.
База данных контактов обновляется каждые 5 минут.
Посоветовали использовать sphinx для выполнения запросов, но информации по настройке полнотекстового поиска свежее 2013 года не нашел.
Или же есть другой вариант решения данной задачи.
Более подробное описание задачи Как найти и вывести контакты с возможными опечатками?

Answer 1

[Сергей]

Ну все не так просто.
Нужно установить sphinxsearch на сервере.
Создать для него конфиг, который будет работать с БД, указать в конфиге что sphinxsearch должен индексировать. Повесить запуск его на крон.
А потом уже в php проекте взаимодействовать с sphinx.
Это не описать в двух словах, Вам придется читать документацию от sphinx и от php.

Comments

[Джамалудин Османов]

Создать для него конфиг, который будет работать с БД, указать в конфиге что sphinxsearch должен индексировать.

Пока, я делаю именно так, только не могу никак натроить конфиг.
Вот конфиг который я настроил, но я так понимаю, что ничего не понимаю(((

#
# Minimal Sphinx configuration sample (clean, simple, functional)
#

source contacts
{
	type			= mysql

	sql_host		= localhost
	sql_user		= user
	sql_pass		= password
	sql_db			= sales_db
	sql_port		= 3306
	
	sql_query_pre		= SET NAMES utf8

	sql_query		= SELECT * FROM contacts 

    sql_attr_uint    = id
    sql_attr_string    = name

}


index contacts
{
	source			= contacts
	path			= /var/lib/sphinxsearch/data/contacts
	morphology      = stem_ru
	min_word_len    = 1
}


searchd
{
	listen			= 9312
	log			= /var/lib/sphinxsearch/log.log
	query_log		= /var/lib/sphinxsearch/query.log
	read_timeout		= 5
	max_children		= 30
	pid_file		= /var/run/sphinxsearch/searchd.pid
	seamless_rotate		= 1
	preopen_indexes		= 1
	unlink_old		= 1
	workers			= threads # for RT to work
	binlog_path		= /var/lib/sphinxsearch/data
}

[Сергей]

Джамалудин Османов,

Всё выглядит верно.
1. Проверьте, есть ли файл ( /var/lib/sphinxsearch/data/contacts ) - тут будет собрано то, что sphinx проиндексирует. Если его нет, то создайте пустой, проверьте права на запись
2. запустите sphinxsearch (/etc/inid.t/sphixsearch.d) - или примерно такое название, проверьте по tab с автодополнением
3. запустите индексацию indexer --all или indexer contacts

Если файл есть и он не пустой ( /var/lib/sphinxsearch/data/contacts ) - то sphinx собрал данные, поздравляю.

Дальше нужно уже, используя методы php, работать с этим индексом и делать поиск.

[Джамалудин Османов]

Сергей,
Подправил конфигурацию

source contacts
{
	type			= mysql
	sql_host		= localhost
	sql_user		= export_user
	sql_pass		= Y1q0P2s8
	sql_db			= sales_db
	sql_port		= 3306
	sql_query_pre		= SET NAMES utf8
    sql_query_pre = SET CHARACTER SET utf8
	sql_query = SELECT * FROM contacts WHERE CHAR_LENGTH(name)>4
    sql_attr_string = name

}


index contacts
{
	source			= contacts
	path			= /var/lib/sphinxsearch/data/contacts
	docinfo = extern
    mlock = 0
	morphology      = soundex, metaphone
	charset_table = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F
}

searchd
{
	listen			= 9312
	log			= /var/lib/sphinxsearch/log.log
	query_log		= /var/lib/sphinxsearch/query.log
	read_timeout		= 5
	max_children		= 30
	pid_file		= /var/run/sphinxsearch/searchd.pid
	seamless_rotate		= 1
	preopen_indexes		= 1
	unlink_old		= 1
	workers			= threads # for RT to work
	binlog_path		= /var/lib/sphinxsearch/data
}

Загрузил в таблицу несколько значений для теста.

Запускаю скрипт

require_once "sphinxapi.php";
$name = "Виктор Рядых";
$sphinx = new SphinxClient();
$sphinx->SetServer('localhost', 9312);
$sphinx->SetMatchMode(SPH_MATCH_ANY);
$sphinx->SetSortMode(SPH_SORT_RELEVANCE);
$result = $sphinx->query($name, "*");
if($result === false){
    var_dump($sphinx->GetLastError());
}else{
    var_dump($result);
}

И он выдает

{
    "error": "",
    "warning": "",
    "status": 0,
    "fields": [
        "updated_at",
        "created_at",
        "created_by",
        "responsible_user_id",
        "company",
        "tags"
    ],
    "attrs": {
        "name": 7
    },
    "total": "0",
    "total_found": "0",
    "time": "0.000",
    "words": {
        "виктор": {
            "docs": "0",
            "hits": "0"
        },
        "рядых": {
            "docs": "0",
            "hits": "0"
        }
    }
}

Не могу разобраться в чем проблема. Вроде все работает. Файл contacts есть. Ошибок при выполнении запросов не было. searchindex и searchd запустились нормально.

[Сергей]

Джамалудин Османов,

Файл contacts есть

он не пустой, верно?

Можете также проверить, есть ли запущенный sphinx на 9312 порту?
я думаю, что команда ss -ntulp покажет это

[Джамалудин Османов]

Сергей, Нашел ошибку. Оказалось, что я индексировал по полю по которому должен был происходить поиск

Answer 2

[Пума Тайланд]

НА сайте сфинкса всегда есть актуальная документация за 2018 год

Comments

[Джамалудин Османов]

На изучение документации уйдет минимум 2-3 дня. И не факт, что это решит мою проблему((( Потому что искать для каждого из 350000 контактов возможный опечаток из этого же списка, это очень долго(

[Пума Тайланд]

Джамалудин Османов, ну без этого никуда
Ну сфинкс ищет на порядки быстрее чем мускул