Elk как настроить ротацию индексов по размеру?

Question

[SergioMaroni]

Добрый день.
Имеется elk.
На сервере свободно только 100гб места.
Прикладные Сервисы ишут логи в логсташ, тот отправляет в elastic. К сожалению объем логов не равномерный, бывают дни по 1 Гб логов, но так же бывают и по 30гб в день.
Как настроить elastic чтоб он хранил только 80гб логов.
Сам смог настроить только ротацию по дням , что мне не подходит так как объем логов не равномерный.

Answer 1

[Vitaly Karasik]

Насколько понимаю, самый простой вариант это сделать почасовой индекс, и ротировать по размеру.
Вот пример с Index Lifecycle Management https://blog.nviso.eu/2019/06/17/optimizing-elasti... .

Comments

[SergioMaroni]

Спасибо за ответ
но как я понял , удаление все равно происходит только по "дате". То есть мы выполняем ротацию по размеру или дате ( стадия Hot) а в стадии "Delete" удаляем от даты создания. Таким образом нельзя ограничить объем хранимых индексов ( не больше 80Гб).

[Vitaly Karasik]

SergioMaroni,
да, по timestamp.
Но в случае часовых индексов мы получаем бОльшую гранулярность, то есть ИМХО практически решение.
Например, максимальный часовой индекс 10ГБ, мы ставим лимит 70ГБ, тогда общий размер всегда меньше 80ГБ.

Answer 2

[SergioMaroni]

Спасибо за ответ
но как я понял , удаление все равно происходит только по "дате". То есть мы выполняем ротацию по размеру или дате ( стадия Hot) а в стадии "Delete" удаляем от даты создания. Таким образом нельзя ограничить объем хранимых индексов ( не больше 80Гб).