Sphinx: результат поиска по слову?

Question

[Max B]

Собственно, начал разбираться со Сфинксом. Поставил, сконфигурировал, построил индекс. Произвёл поиск («найти->слово»).

И вот что мне не совсем понятно- может ли Sphinx в результатах поиска отдавать все поля?

Скажем я устанавливаю

sql_query = SELECT id,name,surname FROM test;

И ищу по части слова «Вас». Как мне получить кроме id ещё name и surname? Логика подсказывает, что если я могу найти всех «Вас»<ь>, то индекс хранит и name и surname, так зачем мне лишний раз спрашивать БД о их именах по ид, если я могу получить их у sphinx. Непонятно.


PS: Допускаю, что всё очень просто, но беглый поиск по документации не наталкнул меня на светлые мысли.

Answer 1

[Искандер Гиниятуллин]

По-умолчанию в сфинксе fulltext-поля хранить и получать не возможно (потому что они просто нигде не хранятся в виде полного значения, так устроены индексы сфинкса)

В 1.10-beta появилась возможность хранить строковые аттрибуты (и получать их в результатах выборки).

Если вы хотите использовать строковый аттрибут для fulltext поиска то его необходимо описать как sql_field_string
Максимальный размер значения для него — 4 мегабайта

Надо помнить, что все аттрибуты сфинкс держит всегда в оперативной памяти, поэтому если вы насоздаете много строковых аттрибутов у вас могут возникнуть проблемы с оперативкой

Comments

[Max B]

Спасибо. Похоже, это то, что нужно.
Оперативка в наше время дешевая, так что не думаю, что упрусь в этот момент.

Answer 2

[Евгений]

Видимо, Вы изначально не поняли как он работает. Возвращаются id документов (primary key) в порядке, который был задан при поиске (сортировка, релевантость итп), потом по этим id вытаскиваются остальные данные, а чтобы не нарушить порядок надо применить в запросе ORDER BY FIELD

Comments

[Max B]

Да, не понял. Изначально я тестировал всё в консоли и радовался, что движок находит и текст. С API вышла накладка.

[Alex Shinkevich]

Не совсем понял с ORDER BY FIELD, пожалуйста поясните

[sergey_novikov]

Допустим, sphinx возвращает набор id (3,7,5). Тогда вы пишете запрос SELECT… FROM test WHERE id IN (3,7,5) ORDER BY FIELD (id,3,7,5) и получаете строки в нужном порядке.

[MuXaJIbI4]

ORDER BY FIELD лучше не использовать это тяжело для базы… проще просто перебрать потом вернувшийся отсортированный массив из сфинкса и просто выбирать по ИД выбранный элемент из базы… сортировка сохранится в итоге

[Искандер Гиниятуллин]

делать 20 запросов вместо одного тоже не очень хорошо для базы

А если использовать id IN() то никто не гарантирует сохранение сортировки

[sergey_novikov]

А почему ORDER BY FIELD это тяжело для базы? Не замечал.

[MuXaJIbI4]

да вы что не надо делать 20 запросов… получаешь массив id сохраняем его к примеру в массив $sort_ids
потом делаешь запрос к базе с помощью IN… получаешь все записи с id которые вернул сфинкс и сохраняешь результаты в масив $data где у ключом элемента будет та же id
далее в шаблоне где это все надо вывести перебираем массив
foreach ($sort_ids as $id)
{
var_dump($data[$id]);
}

и выведется все в том же порядке в котором вернул сфинкс

ORDER BY FIELD плохо тем что он для этого создает временную таблицу… сделайте EXPLAIN и сами увидете… на маленьких таблицах этого можно и не заметить… но если таблицы с миллионами записей то начинаешь все это учитывать

[sergey_novikov]

В EXPLAIN не «Using temporary», а «Using filesort», т.е. проблем не должно быть.
Посмотрел сейчас на таблице >10M записей: поиск в sphinx 0.033 сек., потом запрос к mysql — 0.006. Т.е. по сравнению с поиском запрос почти не заметен.

[MuXaJIbI4]

Using filesort по вашему это нормально? Вы не замечаете это потому что вы один раз запустили этот запрос, а на сервере могут одновременно 1000 пользователей это делать.

[sergey_novikov]

Да, нормально, filesort это просто сортировка. Появляется не только при ORDER BY FIELD, а почти при любом ORDER.

Вариант с «сортировкой» в php быстрее, но это микрооптимизация. 1000 запросов — это 33 сек. на sphinx и 6 на запрос из mysql. Есть и другие запросы, фреймворк и т.п. В общем случае, смысла в такой оптимизации нет.

[WoZ]

от себя еще добавлю. когда сфинкс возвращает 1000 id, а отображение на странице лишь 20, то ORDER BY FIELD единственный выход. к тому же, не забывайте, что и так максимально оптимизированная сортировка самим mysql будет в разы превышать по скорости самописный код на php который слепит массив id от сфинкса с результатами из БД.

Answer 3

[Alex Shinkevich]

Только из консоли, иначе отдает только id-поля. Зная id проблем с нахождением доп. полей обычно не возникает

Comments

[Max B]

Я согласен, что нет проблемы. Но это всё равно нагрузка на БД. Вы меня огорчили.

[Alex Shinkevich]

У самого когда-то были проблемы. Кстати, в руководстве по API все это сказано. Насколько я понимаю, консольный search сам запускает запрос и по ID находит результат.

Собственно самым большим траблом для меня стала сортировка по релевантности. Т.е. Sphinx возвращает несколько ID, но если делаю запрос:
SELECT * FROM mytable WHERE id IN (id1, id2… idN)

то сортировка Sphinx слетает. Приходится делать несколько прямых запросов WHERE id=sphinx_id. Понятно что по индексируемому первичному ключу все летает, но на всякий случай полный массив результатов храню и в memcached

[Alex Shinkevich]

Собственно ссылка на документацию www.sphinxsearch.com/docs/manual-1.10.html#api-func-query

[Евгений]

Как выбрать строки в заданном порядке из PostgreSQL: www.depesz.com/index.php/2010/07/25/how-to-order-by-some-random-query-defined-values/
В MySQL еще проще.

[Alex Shinkevich]

Ага, есть аналог ORDER BY FIND_IN_SET(id, «id1, id2,… idN»), но что-то там с числами не пошло — только со строками точно даже и не помню.

Можно еще брать порядок ключей массива от Sphinx и сортировать уже в приложении результат из БД по ним…

Answer 4

[sergey_novikov]

В 1.10-beta, похоже, появилась возможность хранить строки (раньше были только числа и т.п.):
sphinxsearch.com/docs/manual-1.10.html#conf-sql-attr-string
sphinxsearch.com/docs/manual-1.10.html#conf-sql-field-string

Comments

[Max B]

А вы не пробовали эту версию? Не хотелось бы на продакшн ставить бету, о которой ничего неизвестно.
уточнение: не хранить строки, а отдавать строки. он и так их хранит, только не показывает, зараза :)

[Искандер Гиниятуллин]

в том-то и дело что он их не хранит в явном виде, он хранит только индексы (грубо говоря, он хранит какому слову соответствуют какие id, но какому id соотвествует какой текст он не хранит, если не использовать аттрибуты)

[Max B]

Спасибо, теперь я правда понял.

[sergey_novikov]

Эту нет. Раньше другую использовал — все работало.

[flypigs]

Эту бетку я бы пока не стал использовать (по крайней мере ту, что можно скачать с морды сфинкса). Мерж у нее не работает.