Как заставить filebeat слушать лишь определённые docker контейнеры?

Question

[EmachinesDIMA]

использую автообнаружение контейнеров:
filebeat.autodiscover:
providers:
- type: docker
labels.dedot: true
hints.enabled: true

фильтр работат если указать параметр
condition.container.labels.collect_logs_with_filebeat: "true"

и добавить метку контейнеру, логи контейнера которого я хочу получать:
labels:
co.elastic.logs/enabled: "true" # for Filebeat
collect_logs_with_filebeat: "true"

——————————————————-
но что делать, если контейнеров сотни и всем метки добавлять не будешь?

Правило:
condition.docker.container.name: "имя контейнера" - не работает.

——————————-
вышеописанное относится к конфигурации filebeat запущенного как локально, так и в контейнере.

Если запускать filebeat в контейнера и определить его в изолированной docker.networks (external) - вместе с контейнером, логи контейнера которого я хочу получать - — он это игнорирует и слушает все контейнеры - хинты же слушают все контейнеры на хосте.

Вот и дилемма - страдать и добавлять всем контейнерам метки "слушать или не слушать" их filebeat'у , или всё же как смочь настроить templates: для фильрации контейнеров.

Answer 1

[EmachinesDIMA]

filebeat.autodiscover:
providers:
- type: docker
hints.enabled: true
hints.default_config.enabled: false

ну а отслеживаемому контейнеру добавить
labels:
co.elastic.logs/enabled: "true"

Answer 2

[SlavikF]

Я делаю вот так:

filebeat.autodiscover:
  providers:
  - type: docker
    templates:
      - condition:
          contains:
            docker.container.name: "ng-"

Comments

[EmachinesDIMA]

а у вас какая версия? у меня на 7.16+ это не работало наотрез.

[SlavikF]

EmachinesDIMA,
У меня это работает это уже больше пол года. Начиная вроде с 7.14.
Сейчас на версии 8.0.0
На нескольких серверах.

Вот полный пример:

filebeat.autodiscover:
  providers:
  - type: docker
    templates:
      - condition:
          contains:
            docker.container.name: "vhost-"
        config:
          - module: nginx
            access:
              input:
                type: container
                paths:
                  - /var/lib/docker/containers/${data.docker.container.id}/*.log
                stream: stdout
            error:
              input:
                type: container
                paths:
                  - /var/lib/docker/containers/${data.docker.container.id}/*.log
                stream: stderr
                processors:
                  - urldecode:
                      fields:
                        - from: "message"
                      ignore_missing: true
                      fail_on_error: false

      - condition:
          contains:
            docker.container.name: "apache-"
        config:
          - module: apache
            access:
              input:
                type: container
                paths:
                  - /var/lib/docker/containers/${data.docker.container.id}/*.log
                stream: stdout
            error:
              input:
                type: container
                paths:
                  - /var/lib/docker/containers/${data.docker.container.id}/*.log
                stream: stderr

[EmachinesDIMA]

SlavikF, так вы используете модули!)
попробуйте отлавливать контейнеры, для которых модули не написаны и столкнётесь с моей проблемой.