Сбор и анализ windows логов, что под это использовать?

Question

[Alister O]

Добрый день, сейчас security логи падают в заббикс, в день накапливается около 17гб логов, и сделать анализ из полученных данные не представляется возможным, подскажите подойдет ли для анализа ELK? я даже согласен что буду выгружать данные из mysql в elasticsearch.

Answer 1

[O Di]

https://habrahabr.ru/company/yamoney/blog/328018/
https://habrahabr.ru/company/big/blog/329794/

Answer 2

[Алексей Черемисин]

Если вам достаточно просто рисовать графики, то эластик наверное не лучший вариант.
Я бы порекомендовал использовать influxdb + telegraf. Для отображения можно использовать grafana.

Comments

[Alister O]

получается в виндовс ос необходимо писать приложение/скрипт который будет читать логи и исполнять curl?

[Алексей Черемисин]

Alister O: Да, с security логами все-же удобнее эластик. Только сразу продумайте политику удаления старых индексов.

[Alister O]

Алексей Черемисин: можете пару слов сказать про индексы, почему надо уделять внимание?

[Алексей Черемисин]

Во первых, они будут у вас расти, например, вы делаете по индексу на каждый день.
Тогда за год у вас получится 356 индексов. Если при этом у вас еще будет шардирование этих индексов (по умолчанию 5 шардов), то это будет 365 * 5 индексов. Хорошо бы при этом просто удалять старые индексы.

[Алексей Черемисин]

В любом случае - нужно пробовать.

[Alister O]

случайно не знаете, есть ли в связке ELK функция alert? например сработал триггер, отправилась уведомление...

[Алексей Черемисин]

Alister O: вроде бы там есть x-pack, но я его не пользовал.

Answer 3

[redya69]

Graylog 2 ? Он, кстати, с эластиком и монгодб

Comments

[Alister O]

пишут что GraylogCollector не поддерживает новую архитектуру EventLog, так что его использование на Windows сильно ограничено.