Куда могли пропасть данные из elasticsearch?

Question

[Alex G.]

Всем привет, в elasticseatch хранятся логи. За прошлую неделю смотрели логи и было все ОК, сегодня заметили что часть логов за прошлую неделю пропала.
Нода Elastic впорядке, места на диске еще много, политика на очистку стоит на 2 месяца, заблокированных индексов нет, в кибане по статусам все зеленое и все гуд.

Comments

[d'Ivan]

За прошлую неделю смотрели логи и было все ОК, сегодня заметили что часть логов за прошлую неделю пропала.

Как проверяли?

[d'Ivan]

И, вообще, эта потеря критична? Или просто любопытно?

[Михаил]

Alex G., а Вы сисадмин или какую должность занимаете?
Мне, просто, как бэкенд разработчику, интересно, кто в команде может отвечать вот за такой спектр вопросов, который в этой теме. Следить за работой эластика, админить его.

[Alex G.]

Михаил, Я System Engineer. Админю Elastic по немного. Так то его настроил и забыл. Но данная ситуация не типичная.

Answer 1

[d'Ivan]

Может, кто-то хотел исправить свободное место в кластере за счет некоторой части логов.
Проверить по мониторингу свободного места: нет ли внезапного резкого увеличения свободного места.
Пересмотреть политики доступа пользователей.

Answer 2

[Vitaly Karasik]

А индекс создается ежедневно?
Посмотрите список индексов - возможно заметите какую-ту закономерность.

Comments

[Alex G.]

Понедельно.

[Vitaly Karasik]

Alex G., То есть индекс на месте, но части данных нет? Странно!

Я бы сделал такую вещь, чтобы убедиться что "логи пропадают" - это реально, а не показалось:
сохранял кол-во записей в каждом индексе ежедневно, и сравнивал что происходит со временем.