Чем вести логи ООМ контейнеров docker?

Question

[igortru]

Привет.

Есть linux (Centos 7, Debian 12), на машине расположен docker и штук 30-40 контейнеров. Некоторые контейнеры перезапускаются из-за ООМ. Надо пользователям каким-то образом получить информацию об ООМ контейнеров, без ssh доступа на vm. Уже есть loki + grafana.

Из решений которые пока в голове - promtail и экспортить журналы в loki с определённым patten.

Подскажите в какую сторону еще посмотреть?

Answer 1

[igortru]

Вопрос решил так:
* поставил promtail на vm
* написал правило

scrape_configs:
  - file_sd_configs:
    - files:
      - /etc/promtail/file_sd/*.yml
      - /etc/promtail/file_sd/*.yaml
      - /etc/promtail/file_sd/*.json
    job_name: file_sd

  - job_name: journal
    journal:
      labels:
        hostname: ''
        job: systemd-journal
      max_age: 12h
    pipeline_stages:
    - regex:
        expression: .*(?P<drop_key>oom-kill).*
    - labels:
        drop_key: null
    - match:
        action: drop
        selector: '{drop_key!="oom-kill"}'
    relabel_configs:
    - source_labels:
      - _journal_systemd_unit
      target_label: unit

Answer 2

[chupasaurus]

Можно генерить лог OOM-ов простой systemd-службой (честно взято из issue к moby про логирование docker events) и выгружать из journald по имени, которым её назовёте.

[Unit]
Description=Docker OOM Monitor Service

[Service]
Type=simple
ExecStart=/usr/bin/docker events --filter type=oom

[Install]
WantedBy=multi-user.target

Answer 3

[ky0]

Можно смотреть счётчик oom_kill в /proc/vmstat. Или вам нужна более подробная информация?

Answer 4

[Александр Карабанов]

Можно мониторить объём памяти потреблённой контейнером если там близко к 99% скоро стоит ждать OOM.