Как парсить поле message в ingress-nginx из kubernetes с разбиением на код ошибки и т.д.?

Question

[Антон Пацев]

Имеется kubernetes. В нем есть ingress-nginx, который логирует логи nginx.
Установлен filebeat. Но он не парсит поле message.


Как парсить поле message в ingress-nginx из kubernetes с разбиением на код ошибки и т.д.?
Может использовать fluent-bit, fluentd?

Comments

[Stanislav Pugachev]

Антон Пацев,
не совсем понятен вопрос
разбиением же занимается та часть которая принимает логи а не та которая отдает (конкретно в случае filebeat'а)
то есть смотреть нужно как экстракторы ( или как они там называются) писать в logstash'e
отсюда непонятно причем здесь kubernetes? какая разница откуда лог попадает в logstash?

или я чото не так понимаю?

[Антон Пацев]

Stanislav Pugachev, В случае filebeat наверное и так. А вот td-agent сам разделял текст с помощью регулярки. Может и в kubernetes можно такое сделать?

[Stanislav Pugachev]

Антон Пацев,
что за td-agent?

[Антон Пацев]

Stanislav Pugachev, https://www.fluentd.org/download

[Stanislav Pugachev]

Антон Пацев,

не, не работал с этим, сорян

Answer 1

[chupasaurus]

Обрабатывать message надо в зависимости от того, куда у вас там пишет filebeat:

• 
  
• Logstash: пишите пайплайн для обработки в нём, мануалов тысячи.
  
• Elasticsearch Ingest: пишите processor
  
• Другая принимающая сторона: смотрите как фильтровать и парсить конкретно в ней.