Как обрабатывать и анализировать логи?

Question

[Сергей]

Доброго времени суток


Современные приложения генерируют огромное кол-во логов. Возникает закономерный вопрос: а как анализировать такие большие объемы? grep по файлам конечно спасает в ряде задач, но все-таки хочется какого-то умного поиска с выявлением корреляций и каких-либо зависимостей.


Поделитесь своим опытом (или ссылкой на опыт других), как вы решаете эту проблему?

Answer 1

[Shultc]

Кажется что-то, что вам может помочь есть в этой статье:
habrahabr.ru/post/150657/

… а может и нет )

Comments

[Сергей]

Тут больше про мониторинг: ввели метрику, следим за изменениями. А мне интересно другое: предположим, какая-то последовательность событий повторяется N раз, а на N + 1 раз не повторилась. Как такое обнаружить, если заранее эта последовательность не известна?

[Shultc]

В нейронных сетях я вообще не разбираюсь, но, кажется, вам нужны они… Нужно спросить у кого-нибудь, кто разбирается. =)

[Сергей]

Да, нейронные сети я тоже рассматриваю. Это как один из подходов к решению, но кажется не самый эффективный на больших объемах. Точно утверждать не могу, не проверял.

[Александр Хмелев]

Нейронные сети вряд ли подойдут. Их можно чему-то обучить, если выборка непротиворечива. Для кластеризации и выявления корреляций статистический аппарат эффективнее.

Answer 2

[Ilya_Drey]

Возможно для вас это будет из серии «из пушки по воробьям», но сущестует отдельный класс систем – SIEM. Лично я работал с оборудованием Cisco MARS (на данный момент end of sale, но все еще продается) и RSA Envision.

Выше упомянутые комплексы имеют разветвленную архитектуру, с возможностью размещения на «выносах» локальных коллекторов (сборщиков логов).

Системы могут не только слать event'ы при поступлении того или иного сообщения но и создавать инциденты на основе цепочек event'ов. Имеют предсозданные наборы «парсеров» для создания event'ов, так же шаблоны для проверки на соотвествие стандартам безопасности таким как PSI DSS.

Answer 3

[ComodoHacker]

Splunk.

Comments

[Сергей]

Интересная штука, спасибо

Answer 4

[Пума Тайланд]

Возьмите любой анализатор логов, тот же awstat или sawmill
все гуглится с полпинка.

Comments

[Сергей]

Простите, а разве awstat умеет сам находить корреляции?

[Пума Тайланд]

На графиках можно увидеть кучу корреляций, или вы хотите чтобы анализатор сам вам находил корреляции и слал оповещения, что за прошедший час произошло ошибок 404 на 15 процентов больше чем обычно?

[Сергей]

Да, хочу чтобы анализатор сам находил корреляции. Причем без указания, что конкретно искать. Ситуации, когда мне известны критерии поиска (например, сколько 404 ошибок за час происходит), не интересны — их легко отслеживать.

[Пума Тайланд]

ну как говорится у нас в семье все программиста, пишите сами, в существующих системах такого не встречал, так как реализация и производительность в таких задачах не тривиальны.

Answer 5

[Ilya_Drey]

Ну вот как раз в SIEM системах так и происходит, но там оно основано на сформированных производителем парсеров + можно дописывать самим, так же существуют правила корреляции на основе которых при необходимости формируется инцидент.

Но даже при работе этих систем много false positive, так что приходиться систему тюнинговать…

Comments

[Сергей]

Спасибо, посмотрю :)

Answer 6

[Тимур Батыршин]

* Flume
* Graylog2
* LogStash
* Kibana, UI for LogStash
* Scribe
* Fluentd
* elasticsearch

отсюда

Сам, честно говоря, ничего из этого списка не смотрел, т.ч. подробнее посоветовать не могу.