Сколько нужно number_of_shards в индексе?

Question

[Евгений]

Приветствую, как определить, сколько нужно установить number_of_shards при создании индекса в elasticseach, который будет работать на одном физическом сервере, в который будет загружено 100 млн. документов общим весом в несколько терабайт?

Дело в том, что эту настройку нельзя изменить после создания индекса и не очень охота в последствии заниматься переиндексацией.

Спасибо!

Answer 1

[Vitaly Karasik]

Для кластера из одного сервера и большом кол-ве документов - кол-во шардов == кол-ву CPU cores.
Если есть возможность, разделите индекс на несколько, т.к. для одного сервера это большая база. Если можно как-то поделить данные - по времени, географии, релевантности, то это позволит искать в определенном индексе, а не во всей базе.

Comments

[Евгений]

Спасибо за ответ! Но хочу уточнить,
должно соответствовать количеству физических ядер cpu или кол-ву ядер cpu * на кол-во потоков на ядро?

[Vitaly Karasik]

Евгений Девисок, советую по кол-ву виртуальных. Насчет hyperthreading - честно говоря, не знаю.

Answer 2

[Dimonchik]

заниматься придется - Эластик память жрет что тот лев
обычно 2-3, 2, по-моему, прямо в мануале написано, 3 тоже где-то рядом

а дальше - от числа RPS клиентов зависит

+ если гнаться за временем ответа (ну типа не больше 1мс) ради СЕО, возникает ситуация, когда склейка с кучи шардов тоже занимает время, и это обуславливает цифу шардов в кластере , например, не более 20
(хз что у вас за документы, думаю, в вашем случае потолок будет ниже)

ну и все, дальше уже распределение клиентов идет по кластерам