Почему срабатывают ложные оповещения в Grafana?

Question

[Valdis12]

Есть стек мониторинга Grafana(v9.1.7)-Prometheus(v2.45.0)-Blackbox-exporter. В прометее в targets определен список сайтов, мониторятся метрики probe_http_status_code, probe_http_ssl. В графане настроены оповещения.

Каждую неделю в определенный день и в определенный временной диапазон появляются ложные алерты по
probe_http_ssl, хотя сайты доступны и никаких перебоев нет (о чем свидетельствуют графики в графане). Никакие события по расписанию (по типу крона) не настроены, бэкапирование в это время тоже не идет.

Подскажите, где искать проблему?

Answer 1

[Valdis12]

Проблема решена обновлением версии grafana на v9.5.1 и включением параметра val = true в grafana.ini для блока database

Answer 2

[Saboteur]

Если приходит алерт, смотри откуда он приходит. Точно с графаны или с прометея напрямую, или это вообще еще один левый мониторинг.
Откуда ж мы знаем как у тебя и что настроено. В алерте должна быть необходимая информация - на какой датчик и какой показатель он стриггерился.
Может агент прометея в это время был недоступен.
В общем только ты можешь в данном случае посмотреть глубже.