Как работать с Graylog?

Question

[dmvlch_dev]

Всем привет!

Вопрос покажется банальным, но как человеку никогда не работающим со сборов логов, будет полезным.
Graylog это централизованная система сбора и анализа логов.
Как собирать понятно, но как именно анализировать?
Писать парсеры которые отлавливают ошибки в логах и сообщают об этом?
Какой еще анализ логов имеется ввиду?
Поделитесь пожалуйста своим опытом по использованию Graylog, ну или ELK.

Answer 1

[Dmitry Roo]

Предположим у вас 100 микросервисов, которые генерируют совокупно 100'000 строк логов в секунду.
Если вы будете разбирать логи вручную вам не хватит никакого времении чтобы проанализировать события даже в течении какого-то конкретного часа.
Тут приходит на помощь, например грейлог.

В грейлоге, правильно настроенном, вы можете писать запросы на языке, напоминающем sql и получать нужную для себя информацию.
Так же можно настроить, например графану, чтобы она по логам строила какие-то графики или мониторинги.

Comments

[dmvlch_dev]

Спасибо большое за ответ!
Если например в качестве хранилища логов используется OpenSearch, то 100'000 строк логов в секунду сначала должны попасть туда и храниться там какое то время. И я могу просто ради интереса посмотреть что происходит с микросервисами, так?
А может ли Graylog отлавливать ошибки на лету, т.е. до попадания в OpenSearch?
И может ли Graylog, пробегаться по данным и автоматически отправлять оповещение?

[Dmitry Roo]

dmvlch_dev, оповещения - скорее нет (ну я так думаю, может он и умеет), это не грейлога дело, но можно сделать интеграцию.

Грейлог про агрегацию логов, про индексацию и поиск.
Остальное - это уже к каким-то внешним системмам.