Методику работы с фильтрацией данных?

Question

[michaelromanov90]

Привет!
Проект на php+mysql
Подскажите, пожалуйста, чем можно поиск по сайту оптимизировать?
Мне не нужен полнотекстовый поиск, а (например) sphinx и elasticsearch ведь только для этого нужны?

А вообще задача: фильтрация множества строк десятки тысяч (поиска как такового и нет)...

Спасибо!
(может выгружать в оперативку через redis и уже затем только фильтровать... или через mongo)..

Дайте совет или может линк на (размышления, тесты...) по этому поводу.

Answer 1

[Andrey Shatokhin]

Если не нужна агрегация данных с разных таблиц - вам будет достаточно создания индексов на таблицах. Все фильтрации делать с помощью индексов.

Comments

[michaelromanov90]

Агрегация данных? В смысле join? Нужна да. Что тогда посоветуйте?

[Andrey Shatokhin]

В идеале - пересмотрите схему бд и избавьтесь от джойнов. Индексы в mysql сработают намного быстрее и дадут меньше нагрузки чем sphinx и elasticsearch

[michaelromanov90]

Андрей: а как такое оцените?
Сделать отдельную таблицу - сборочную, максимально денормализованную и работать на фронтенде с ней, по ней и фильтровать. А на бекенде при вставке этих самых строк - вставлять сразу в обе.

[Andrey Shatokhin]

Если рост бд допустим - то нормально. Только я бы вместо вставки сразу в обе таблицы - создайте триггер в бд для заполнения "сборочной" таблицы. Тогда запись в бд останется атомарной.

[michaelromanov90]

Андрей: Благодарю за совет!

[Oleg Shevelev]

Индекс на текст (в MySQL) имеет ограничение на максимальную длину, а полнотекстовый поиск (который так же можно использовать для фильтра) адски медленный.

Answer 2

[Night]

Ну дак и фильтруйте тем же mysql.
Индексы для этого придуманы :)

Comments

[michaelromanov90]

Да, я понимаю, что индексы для того и придуманы. Но является ли это максимально эффективным решением? Может есть ещё что-то, что я упускаю (не понимаю).

[Night]

Выборка по индексам - самая быстрая. О каком роде оптимальности говорим? Обозначьте суть проблемы (медленная выборка или что?)