При каких объемах БД имеет смысл переход на поисковые движки типа Lucene/Elastic?

Question

[cybervito21]

Как понять момент - ты криво используешь MySQL и ОС или это просто слишком много данных?
Сколько должна быть база - 10Мб, 1Гб или 100Гб?
На каких объемах используете Lucene/Elastic вы?

Answer 1

[Пума Тайланд]

на любых где нужен быстрый полнотекстовый поиск с опциями

Answer 2

[Олег Бунин]

Нет такого фиксированного размера, здесь больше вопрос функциональности. Ведь встроенные поиски в MySQL довольно слабые и сводятся по большей части к простому полному перебору всех значений и выполнению регулярных выражений по ним.

Мы, например, используем Sphinx всегда, даже для самых маленьких проектов. Этот движок позволяет комбинировать поисковые запросы (которые выполняются по взрослому индексу и работают очень быстро) с другими MySQL-запросами.

Comments

[cybervito21]

О, Олег Бунин. Вот это мне повезло :D

Answer 3

[Narek]

Тут очень важно понять отоичия между mysql и elasticsearch. 2й это поисковый движок в первую очередь. Мы его используем в связке с mysql, т.к. транзакции доя нас очень важны.

Answer 4

[Оптимус Пьян]

Это зависит не от объёмов строчек и баз данных а от типов запросов и нагрузки. Где-то проскакивала тут инфа что люди и 200 млн. записей в MySQL хранят и в этом нет ничего удивительного если структура данных простая и запросы только на чтение например.

Comments

[cybervito21]

> от типов запросов
Полнотекстовый поиск же, по одной табличке, без космических финтов ушами

Answer 5

[Sergey Romanov]

Мне кажется это зависит не только от объема базы, но и от нагрузки. Если у вас на сайте много полей с автопоиском, которые при каждой новой букве делают поиск, или другие поиски, то нужно использоать ES. Но не отдельно. Нужно его использовать в паре с базой. Пусть все работает как работает, а поиски через ES. таким образом база разгрузится.