Как лучше подключить logstash для сбора логов Kubernetes кластера и отправки в graylog?

Question

[Вадим]

Привет,

подскажите как
1) как лучше прикрутить logstash для сборки логов контейнеров/pods из standard output? Какие-то готовые решения?
2) как лучше отправлять их в graylog, по какому протоколу или pluginu?
3) Что будет если Graylog кластер станет недоступным на время, сообщения из logstash возобновятся или надо будет его перезагружать?

всем добра,
Вадим

Answer 1

[Дмитрий Шицков]

1. Нужен сборщик логов. Чаще всего используется и больше описан в интернете как решение для k8s – Fluentd
   
2. https://docs.fluentd.org/how-to-guides/graylog2
   
3. логирование возобновится как только кластер станет доступен
   

Answer 2

[Vitaly Karasik]

В дополнение к ответу Дмитрий Шицков - хорошая статья про Graylog и K8S
https://vzurczak.wordpress.com/2019/02/13/using-gr...

2) GELF проще

Comments

[Вадим]

@vitaly_il1

Виталий, здравствуйте... еще 2 вопроса:

1) примера daemonset для fluent-bit у вас нет
2) нужно ли делать аггрегатор логов между демонами fluent-bit и graylog?

[Vitaly Karasik]

1) по-моему есть ссылка на Git в статье которую я послал.
2) агрегатор логов - что вы имеете в виду. Насколько понимаю, между ними ничего не надо.