Как править конфиг Prometheus для отправки алерта когда нода более 2-х минут в down?

Question

[shell_guy]

Доброго времени суток!
Подскажите пожлауйста как решить след. проблему: прометей шлет алерты даже если краткострочные потери сигнала на свитче к примеру и спамит в слак.
Как сделать так чтобы отправлялся 1 алерт в случае если нода лежит более 2-х минут подряд? Какой правило нужно добавить и в какой конфиг? Спасибо большое

Answer 1

[Александр Карабанов]

Исправь правило, в for напиши 2m примерно так:

- alert: Node down
    expr: up{job="node_exporter"} == 0
    for: 2m
    labels:
      severity: warning
    annotations:
      title: Node {{ $labels.instance }} is down
      description: Failed to scrape {{ $labels.job }} on {{ $labels.instance }} for more than 3 minutes. Node seems down.

Comments

[shell_guy]

Александр Карабанов получается через 2 минуты придет алерт если нода падает? и что будет по истечении 2-х следующих минут? новый алерт?

[Александр Карабанов]

shell_guy, это hold time. Если в течении двух минут сервис не восстановится, то придёт aлерт. Если не настроены повторения, то алерт больше не придёт, если настроена, то придёт повторно через указанное в настройках время и так до бесконечности, пока сервис не восстановится.

[shell_guy]

Александр Карабанов, подскажите пожалуйста как отключить повторения и в каком конфиге это делать?

[Александр Карабанов]

shell_guy, за повтор алерта отвечает директива repeat_interval в конфиге Alertmanager.

[shell_guy]

Александр Карабанов, спасибо, очень помогли!