Как настроить input для fluentbit в Graylog?

Question

[dmvlch_dev]

Всем привет!

Как настроить прием логов из Kubernetes с использованием fluentbit.
Создал input GELF TCP в Graylog.

bind_address: 0.0.0.0
charset_name: UTF-8
decompress_size_limit: 8388608
max_message_size: 2097152
number_worker_threads: 8
override_source: <empty>
port: 12201
recv_buffer_size: 1048576
tcp_keepalive: false
tls_cert_file: <empty>
tls_client_auth: disabled
tls_client_auth_cert_file: <empty>
tls_enable: false
tls_key_file: <empty>
tls_key_password: ********
use_null_delimiter: true

Используется Graylog на даух нодах, на стороне fluentbit в конфиге они прописаны в OUTPUT.

Answer 1

[Dmitry]

Если ставить fluentbit из helm, то там уже все есть, только output прописать в файле values.yaml,
В любом случае можно найти этот хелм чарт и посмотреть как там сделано

Comments

[dmvlch_dev]

да, ставили из helm
а вот только не понятно, в graylog нужен tcp или udp input?
делал и так и так, не логи все равно не идут

[dmvlch_dev]

config:
  service: |
    [SERVICE]
        Daemon Off
        Flush {{ .Values.flush }}
        Log_Level {{ .Values.logLevel }}
        Parsers_File /fluent-bit/etc/parsers.conf
        Parsers_File /fluent-bit/etc/conf/custom_parsers.conf
        HTTP_Server On
        HTTP_Listen 0.0.0.0
        HTTP_Port {{ .Values.metricsPort }}
        Health_Check On

  ## https://docs.fluentbit.io/manual/pipeline/inputs
  inputs: |
    [INPUT]
        Name tail
        Path /var/log/containers/*.log
        multiline.parser docker, cri
        Tag kube.*
        Mem_Buf_Limit 5MB
        Skip_Long_Lines On

    [INPUT]
        Name systemd
        Tag host.*
        Systemd_Filter _SYSTEMD_UNIT=kubelet.service
        Read_From_Tail On

  ## https://docs.fluentbit.io/manual/pipeline/filters
  filters: |
    [FILTER]
        Name kubernetes
        Buffer_Size 32k
        Match kube.*
        Merge_Log On
        Keep_Log Off
        K8S-Logging.Parser On
        K8S-Logging.Exclude On

  ## https://docs.fluentbit.io/manual/pipeline/outputs
  outputs: |
    [OUTPUT]
        Name syslog
        Match kube.*
        Host 10.10.122.69
        Port 514
        Mode udp
        Retry_Limit False

    [OUTPUT]
        Name forward
        Match *
        Upstream upstream.conf

        #    [OUTPUT]
        #        Name forward
        #        Match host.*
        #        Host  10.10.122.69
        #        Port 514
        #        Retry_Limit False

  ## https://docs.fluentbit.io/manual/administration/configuring-fluent-bit/classic-mode/upstream-servers
  ## This configuration is deprecated, please use `extraFiles` instead.
  upstream: {}

  ## https://docs.fluentbit.io/manual/pipeline/parsers
  customParsers: |
    [PARSER]
        Name docker_no_time
        Format json
        Time_Keep Off
        Time_Key time
        Time_Format %Y-%m-%dT%H:%M:%S.%L

  # This allows adding more files with arbitrary filenames to /fluent-bit/etc/conf by providing key/value pairs.
  # The key becomes the filename, the value becomes the file content.
  extraFiles:
     upstream.conf: |
       [UPSTREAM]
           graylog

       [NODE]
           name     grayloghost1
           host       10.10.122.38
           port       12201

       [NODE]
           name      grayloghost2
           host       10.10.122.39
           port       12201
#     example.conf: |
#       [OUTPUT]
#           Name example
#           Match foo.*
#           Host bar

[Dmitry]

dmvlch_dev, тут я не подскажу, у меня OpenSearch :) , но в конфиге syslog, и сам graylog вроде умеет принимать логи как syslog, так что только убедится что он реально слушает 514й порт, и брать в руки tcpdump и смотреть, трафик вообще есть...

[dmvlch_dev]

Дмитрий, но output же идет по факту на 12201 порт
name grayloghost1
host 10.10.122.38
port 12201

[Dmitry]

а вот этот куда идет?

[OUTPUT]
        Name syslog
        Match kube.*
        Host 10.10.122.69
        Port 514
        Mode udp
        Retry_Limit False

[dmvlch_dev]

Дмитрий, fluentbit отправляет логи еще в одну систему помимо грейлога