Как ускорить поиск в elasticsearch через kibana 4?

Question

[zdravnik]

Наладил ELK.
Прошел месяц и кибана стала по долгу обновлять данные, иногда не обновляет вобще, перебрасывает на страницу status где показывает что статус elasticsearch red.
Разбирался и не мог понять в чем дело. Дал service elasticsearch restart и сразу все забегало нормально. Где искать проблему?
До рестарта был немного меньше cpu idle чем сейчас, да и LA был повышенный, но все в приделах норм, LA в районе 2 при 16 ядрах.

Comments

[Алексей Ямщиков]

Сколько памяти выделено под эластик?
Сколько документов хранится?
Сколько индексов имеется?

[zdravnik]

НА сервере крутится только ЕЛК и больше ничего другого. Сервер 32Гб ram и 16 ядер. Под данные эластика на диске выделено 1.2Тб из них на данный момент эластик занял 20Гб. Индексов порядка 20 штук, в каждом индексе около 100000 документов. Каждый день прибавляется по одному индексу размером около 100000 документов

[Алексей Ямщиков]

zdravnik: Эластик это Ява процесс, сколько Оперативной Памяти выделено ему лично?
статус elasticsearch red - Что при этом пишется в логах эластика?

Кибана это всего лишь вэбморда, логсташ это всего лишь аггрегатор. Все данные лежат в Эластике, вот его настройки и параметры и нужно смотреть, копать разбираться.

[zdravnik]

Алексей Ямщиков: По памяти: -Xms256m -Xmx1g.
Да действительно,вы правы. По всей видимости проблемы с памятью (как я этого сразу не заметил, ведь логи смотрел же). Вот примеры логово:
[2015-12-09 13:24:10,445][WARN ][transport ] [Ghoul] Received response for a request that has timed out, sent [32493ms] ago, timed out [17171ms] ago, action [cluster:monitor/nodes/stats[n]], node [{Ghoul}{iKfXrHg8TMeDUi59IM2xMQ}{127.0.0.1}{127.0.0.1:9300}], id [17664618]
[2015-12-09 13:29:23,195][WARN ][index.engine ] [Ghoul] [logstash-2015.12.09][1] failed engine [already closed by tragic event] java.lang.OutOfMemoryError: Java heap space
[2015-12-09 13:29:36,051][WARN ][cluster.action.shard ] [Ghoul] [logstash-2015.12.09][0] received shard failed for [logstash-2015.12.09][0], node[iKfXrHg8TMeDUi59IM2xMQ], [P], v[2], s[STARTED], a[id=-7k4xHD4T9qh6qN7Yz753g], indexUUID [RwuQB1Y8TP2OWjdVttPkgQ], message [engine failure, reason [already closed by tragic event]], failure [OutOfMemoryError[Java heap space]]
java.lang.OutOfMemoryError: Java heap space

Вопрос, почему по началу памяти хватает, а потом уже нет, куда она девается?
Можете подсказать как расточить этот параметр (я имею ввиду кол-во выделяемой памяти) ну или дайте keyword для гугла ?

[zdravnik]

Алексей Ямщиков: поменял в /etc/sysconfig/elasticsearch параметр ES_HEAP_SIZE, поставил размер соответствующий половине размера всей оперативной памяти сервера.

[Алексей Ямщиков]

zdravnik: да, верно, в ответе уже дополнил

[zdravnik]

>Ну поначалу то у вас мало данных, вот памяти и хватает. Потом, когда их становится больше то как бы перестаёт хватать ))))

Так количество данных не изменилось, я просто рестартанул эластик и он с тем же объемом индексов и документов стал работать быстрее. Утечка?

Answer 1

[Алексей Ямщиков]

Эластик это Ява процесс, сколько Оперативной Памяти выделено ему лично?
статус elasticsearch red - Что при этом пишется в логах эластика?
Кибана это всего лишь вэбморда, логсташ это всего лишь аггрегатор. Все данные лежат в Эластике, вот его настройки и параметры и нужно смотреть, копать разбираться.

По памяти: -Xms256m -Xmx1g.

ИТОГО:
Увеличить память эластику.

Вопрос, почему по началу памяти хватает, а потом уже нет, куда она девается?
Можете подсказать как расточить этот параметр (я имею ввиду кол-во выделяемой памяти) ну или дайте keyword для гугла ?

Ну поначалу то у вас мало данных, вот памяти и хватает. Потом, когда их становится больше то как бы перестаёт хватать ))))

Расточить просто, но зависит слегка от операционки.
В CentOS нужно поправить файл конфига /etc/sysconfig/elasticsearch
Параметр ES_HEAP_SIZE

# Heap Size (defaults to 256m min, 1g max)
ES_HEAP_SIZE=30g

В других Осях по аналогии.
Дайте ему 50% от RAM, т.е. в данном случае - 16G