Как исключить хост из уведомлений prometheus?

Question

[Николай Барков]

Всем привет.
Есть правило rules.yml

- alert: HostOutDiskSpaceCrit20
        expr: (node_filesystem_avail_bytes* 100) / node_filesystem_size_bytes< 20 and ON (instance, device, mountpoint) node_filesystem_readonly == 0
        for: 2m
        labels:
          severity: high
        annotations:
          summary: Заканчивается дисковое пространство (instance {{ $labels.instance }})
          description: "Disk is almost full (< 20% left)\n  VALUE = {{ $value }}\n  LABELS = {{ $labels }}"

которая еррорит при переполнении жёсткого диска.

Проблема заключается в том, что у меня есть машина VM01 ,которая постоянно еррорит о переполнении. Не могу понять как её исключить из правила.

Answer 1

[Alexey Dmitriev]

А как пробовали понять как исключить? Задали вопрос тут?

expr: (node_filesystem_avail_bytes * 100) / node_filesystem_size_bytes < 20 and ON (instance, device, mountpoint) node_filesystem_readonly == 0 and instance != "vm1"

Comments

[Николай Барков]

Солидно времени потратил на поиски, но нахожу не то что нужно, сказывается плохое знание мат части и синтаксиса.

[Николай Барков]

expr: (node_filesystem_avail_bytes * 100) / node_filesystem_size_bytes < 20 and ON (instance, device, mountpoint) node_filesystem_readonly  == 0  and instance != k4-backup01

Если кавычки поставить, получаю ошибку синтаксиса
Смущает что на скриншоте k4 - backup01 а не k4-backup01.

[Николай Барков]

Например. Решил попробовать назначить хосту тег , и настроить исключение по ней.
Но prometheus пофиг какое значение тега я ставлю. По логике он должен быть жёлтым или красным. А он зелённый:

[Alexey Dmitriev]

Николай Барков, имя хоста в состоянии один в один перенести из примера-в кавычках?
Можно еще так попробовать
((node_filesystem_avail_bytes{instance!="vm01"} * 100) / node_filesystem_size_bytes{instance!="vm01"} < 20)
AND ON (instance, device, mountpoint) node_filesystem_readonly{instance!="vm01"} == 0

[Николай Барков]

Способ 1:

Способ 1.1

Способ 2 (Ковычки не поставить, ошибка синтаксиса)


Позже попробую изменить DNS запись у k4-backup01. Может тире мешает обработки запроса.

[Alexey Dmitriev]

Николай Барков, k4-backup01 - это не DNS запись а название хоста в конфиге prometheus

[Николай Барков]

(100 - (100 * node_filesystem_avail_bytes{instance!="k1-backup01:9100"} / node_filesystem_size_bytes{instance!="k4-backup01:9100"}) > 80)

Получилось
Самая моя главная ошибка в том , что я редактировал код через терминал а не редактор prometheus. (Который оперативно указывает на ошибки синтаксиса)