Как перестать выводить каждую строчку в stacktrace в лог отдельным сообщением?

Question

[ksimmi]

Всем привет!

Уже на втором проекте сталкиваюсь с проблемой чтения логов на проде. На проде несколько микросервисов поднятых в кубернетисе. На первом проекте логи писались в грейлог, в текущем проекте, сначала использовали Кибану, потом ушли в ГуглОблако. Во всех случаях одна и таже проблема: если есть залогированное исключение, то его stacktrace, состоящий из нескольких строк, публикуется в логи построчно, т.е. одна строка - одно отдельное сообщение. Читать такие логи очень сложно. На обоих проектах девопсы говорят, что это НОРМАЛЬНО, что это особенности докера. Сам я разраб и когда меня привлекают к разбору инцидентов это становится для мея болью. Я не согласен с девопсами, что это нормально.


Помогите решить проблему.

Спасибо.

Answer 1

[Vitaly Karasik]

На обоих проектах девопсы говорят, что это НОРМАЛЬНО

Это не нормально.
Есть разные варианты обработки Multi line log events - от процессинга logstash в ELK до использования JSON формата. В общем, пускай трудятся!

Comments

[ksimmi]

А как мне стектрейс JSONом вывести?

[Vitaly Karasik]

Я не знаю вашей апликации/конфигурации, посмотрите поддерживается ли JSON для логов.

Если нет - ключевые слова для поиска: multi line logs.

- https://stackoverflow.com/questions/42959423/googl...
- https://cloud.google.com/logging/docs/structured-l... - "The Logging agent google-fluentd is a modified version of the Fluentd log data collector." -значит вы можете применять парсинг Fluentd
- https://www.datadoghq.com/blog/multiline-logging-guide/ - Fluentd allows you to use a plugin to process multi-line logs.
- https://stackoverflow.com/questions/57896548/how-t...

[ksimmi]

Vitaly Karasik, Спасибо за ссылки. Я бегло пробежался по описанию logstash и fluentd, но пока не понял, правки нужно будет вносить как на уровне приложения, так и на уровне девопсов или все это 100% на стороне девопсов делается?

[Vitaly Karasik]

ksimmi, 100% на стороне девопсов

[ksimmi]

Vitaly Karasik, Спасибо большое

Answer 2

[Иван Шумов]

Эта проблема не решается этими инструментами. Сбор логов в таком виде и должен быть, а для анализа логов используются инструменты вроде Sentry

Comments

[ksimmi]

Вас не понял. Я использовал Sentry в своих проектах, правда без докера и кубера - был доволен, но в текущем проекте Sentry нет и нужно решить проблему с текущими инструментами.

[Иван Шумов]

ksimmi, тогда никак. Нужно менять процессинг логов принципиально