Как обрабатывать и анализировать логи?

Доброго времени суток


Современные приложения генерируют огромное кол-во логов. Возникает закономерный вопрос: а как анализировать такие большие объемы? grep по файлам конечно спасает в ряде задач, но все-таки хочется какого-то умного поиска с выявлением корреляций и каких-либо зависимостей.


Поделитесь своим опытом (или ссылкой на опыт других), как вы решаете эту проблему?
  • Вопрос задан
  • 7394 просмотра
Пригласить эксперта
Ответы на вопрос 6
Shultc
@Shultc
RnD Developer
Кажется что-то, что вам может помочь есть в этой статье:
habrahabr.ru/post/150657/

… а может и нет )
Ответ написан
Ilya_Drey
@Ilya_Drey
Возможно для вас это будет из серии «из пушки по воробьям», но сущестует отдельный класс систем – SIEM. Лично я работал с оборудованием Cisco MARS (на данный момент end of sale, но все еще продается) и RSA Envision.

Выше упомянутые комплексы имеют разветвленную архитектуру, с возможностью размещения на «выносах» локальных коллекторов (сборщиков логов).

Системы могут не только слать event'ы при поступлении того или иного сообщения но и создавать инциденты на основе цепочек event'ов. Имеют предсозданные наборы «парсеров» для создания event'ов, так же шаблоны для проверки на соотвествие стандартам безопасности таким как PSI DSS.
Ответ написан
opium
@opium
Просто люблю качественно работать
Возьмите любой анализатор логов, тот же awstat или sawmill
все гуглится с полпинка.
Ответ написан
Ilya_Drey
@Ilya_Drey
Ну вот как раз в SIEM системах так и происходит, но там оно основано на сформированных производителем парсеров + можно дописывать самим, так же существуют правила корреляции на основе которых при необходимости формируется инцидент.

Но даже при работе этих систем много false positive, так что приходиться систему тюнинговать…
Ответ написан
* Flume
* Graylog2
* LogStash
* Kibana, UI for LogStash
* Scribe
* Fluentd
* elasticsearch

отсюда

Сам, честно говоря, ничего из этого списка не смотрел, т.ч. подробнее посоветовать не могу.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы