Как оценить объем ресурсов, который будет необходим для elasticsearch?

Question

[ArmBar]

Появилась идея, в интернет-магазине вместе с полнотекстовым поиском по названиям товаром сделать фасетный поиск по остальным товарам через elasticsearch. Прототип накидали и скорость поиска нравится, но впереди ожидается 10-кратное увеличение объемов каталога (под десяток миллионов единиц) и возникла необходимость рассчитать ресурсы (память, процесоры), которые могут затребоваться в таком случае. Гугл ответ не дал, хотя я скорее всего неверно формулировал вопрос. Кто сможет подсказать, как можно провести расчет, или какие лучшие практики для оптимизации конфигурации провести, буду благодарен.

Comments

[sim3x]

Нагрузите данных и тестируйте - вам никто по такой расплывчатой формулировке ничего нt ответит

Ну и кроме того, для больших магазинов не проблема тратить на $10k+ на оренду / лизинг мощностей

Протеститруйте также sphinx search

[ArmBar]

sim3x, это понятно, что в результате только имперически узнаем сколько сожрет ресурсов. Но была надежда, что возможно есть инструменты из коробки, чтобы оценить оптимальность конфигурации и попробовать модель заранее предсказать.

[mamontm]

ArmBar,

в результате только имперически узнаем

Эмпирически

[mamontm]

ArmBar,

Но была надежда, что возможно есть инструменты из коробки, чтобы оценить оптимальность конфигурации и попробовать модель заранее предсказать.

Из коробки у Elastic есть тот плюс, что при необходимости вы можете докинуть серверов.
Он сам между серверами балансировать умеет. Собственно это его основной плюс, собственно этим вы оплачиваете его тормознутость и прожорливость.

Answer 1

[mamontm]

SphinxSearch
или его форк - Мантикора.

Жрет на порядки меньше, ищет существенно быстрее.

Почему ivi перешел со Sphinx на Elasticsearch
перешли они потому что Sphinx не умеет (не умел тогда) делить индекс по разным серверам, а на один сервер у них влазить перестал индекс.

При этом им пришлось из-за Elastic идти на компромиссы - уж очень медленно он ищет по сравнению с Sphinx, уж очень много он жрет ресурсов памяти по сравнению с Sphinx.

и возникла необходимость рассчитать ресурсы (память, процесоры), которые могут затребоваться в таком случае

Тут следует понимать, что все подобные системы - и Sphinx и Elastic и Bleve и Reindexer - все на каждый чих строят полноценный индекс.

Что вы кладете в индекс - знаете только вы.

Прототип накидали и скорость поиска нравится, но впереди ожидается 10-кратное увеличение объемов каталога (под десяток миллионов единиц) и возникла необходимость рассчитать ресурсы (память, процесоры), которые могут затребоваться в таком случае.

Если нет еще товара - сгенерируйте называния рандомом до 10 млн. единиц.