Как собирать логи из Docker контейнеров снаружи этих самих контейнеров?

Question

[Иван Филатов]

Имеются микросервисы, описанные в docker-compose
Каждый умеет писать логи в File, Console, ...
Хочется централизованного сбора логов. Допустим тот же ELK (ElasticSearch, LogStash, Kibana)

Если настроить конфигурацию логирования каждого микросервиса на логирование сразу в Elastic или LogStash - тот тут проблем нет, но хочется избиваться от конфигурирования и жесткой привязки в конкретному контейнеру для сбора логов.

Хочется такую схему:


Чтобы снимать логи из файлов, которые прописаны как docker volume, или из stdout забирать их как-то, и отправлять затем в тот же LogStash или Elastic. Забирать логи снаружи контейнера, а не внутри!

Как можно это сделать? Есть ли в самом docker механизм шаринга файлов логов между контейнерами или может чтение консоли, потому что тот же Kitematic показывает у себя логи из консоли без проблем, значит наружу ее вытащить реально.

Может кто поделиться рабочим docker-compose.yml файликом, кто уже делал подобную схему?

Comments

[rustler2000]

А как по твоему docker logs работает, когда контейнер упал? https://docs.docker.com/config/containers/logging/...

Answer 1

[Kek420]

Можно добавить в ваш docker-compose контейнер с Filebeat, например. И с помощью него перенаправлять все логи в ELK

Comments

[Иван Филатов]

пробовал Filebeat, но он работал отдельный Filebeat внутри каждого микросервиса. Тогда он видел файловые логи.
Снаружи он не видит их.

Может подскажите конфигурацию чтобы он заработал?

[Kek420]

docker-compose.yml:

[...]
filebeat:
    container_name: filebeat
    image: docker.elastic.co/beats/filebeat:latest
    volumes:
      - filebeat:/usr/share/filebeat/data
      - ./filebeat.yml:/usr/share/filebeat/filebeat.yml
      - /var/run/docker.sock:/var/run/docker.sock
      - /var/lib/docker/containers/:/var/lib/docker/containers/:ro
      - /var/log/:/var/log/:ro
[...]

filebeat.yml:

filebeat.autodiscover:
# Autodiscover docker containers and parse logs
  providers:
    - type: docker
      templates:
          config:
            - type: docker
              containers.ids:
                - "${data.docker.container.id}"

filebeat.inputs:
- type: docker
  enabled: true
  containers.ids:
    - "*"
  paths:
    - /var/lib/docker/containers/${data.docker.container.id}/*.log
  exclude_lines: ["^\\s+[\\-`('.|_]"]  # drop asciiart lines
  multiline.pattern: "^\t|^[[:space:]]+(at|...)|^Caused by:"
  multiline.match: after
  processors:
    - add_docker_metadata: ~
    - add_cloud_metadata: ~
    - add_locale: ~

name: "your-app"

tags: ["your-app", "filebeat"]

fields:
  env: prod

output.elasticsearch:
  hosts: ["elasticsearch.example.net:9200"]

[scor2k]

Согласен с решением выше, только filebeat проще запустить на хосте, это будет более удобное решение в плане масштабирования, как мне кажется. Ну и логи, хорошо бы, писать в json сразу с разделением приложений по конкретному тегу.

[Иван Филатов]

Kek420, filebeat получилось запустить, отлично работает. Но хотелось UDP + gzip функциональность.
Поэтому выбрал logspout.

Но filebeat имеет мечто быть!

[alexq2]

Автор привет! Можешь подробнее схему расписать как у тебя получилось? Filebeat у тебя в контейнере? Если не сложно можешь куда-нибудь выложить компос файл и конфиг?

Answer 2

[Андрей Богоявленский]

Можно использовать logspout.

Comments

[Иван Филатов]

Отлично подошло! UDP + gzip стало преимуществом перед остальными вариантам.

Получилась связка Apps --> dockerLogDriver <-- logspout --> logstash --> elasticsearch <-- kibana

[alexq2]

Иван Филатов, привет! Можешь подробнее схему описать?

Answer 3

[Adept_23]

У Docker есть прекрасная возможноть логировать сообщения и отправлять с помощью различных двайверов.
https://docs.docker.com/config/containers/logging/...
Один из них, который работает прекрастно с Logstash, это gelf
Пример запуска
docker run -d \
-p 80:80 \
--name nginx-logs \
--log-driver=gelf \
--log-opt gelf-address=udp://ELK-host:12201 \
--log-opt tag=site.com.ua \
nginx

Если это docker-compose, тогда так:

services:
  nginx:
    image: nginx
    hostname: nginx-log
    logging:
       driver: gelf
       options:
         gelf-address: "udp://ELK-host:12201"
         tag: "site.com.ua"

В свою очередь, конфиг Logstash для директивы input такой

input {
  beats {
    port => 5044
  }
  gelf {
    port => 12201
    type => gelf
  }
}

Единстенное, сейчас ищу как эти контейнеры с помощью Logstash разделить в Kibana с помощью тегов, когда их много. Ищу синтаксис конструкции для директивы output.