Почему не грузятся метрики из Prometheus в Grafana?

Question

[NIKA_R]

Данные есть ...




Мне нужно
1. Вывести состояние контейнеров docker (cadvisor)
2. Вывести уровень доступности сервиса и рассчитать SLA (blackbox \ node_exporter)
3. Вывести кастомные метрики по данным из базы. (экспортер отправляет запрос к базе, возвращает метрики в формате ) duty{team="k8s", role="primary"} 1
duty{team="dba", role="secondary"} 1
----------------------------

Если подключиться напрямую к базе, миную prometheus и просто забирая данные запросом пункт 3. отпадает . Но мне сказали так нельзя, только через API ((((, cadvisor можно без красивостей посмотреть данные о состоянии кнетенеров, но нужно именно через prometheus ....

-------------------------------------------

Но он не видит нужные мне job и метрики (

Само приложение работает

А остальные контейнеры где?
--------------------------------------------



Почему не все данные отображаются на граффике? Как заменить кривые надписи на читабельные primary\secondart\menedger ?

Comments

[mayton2019]

А правильно ли я понимаю что Grafanа здесь как-бы активная а Prometheus - пассивный. Тоесть кто к кому стучится?

[NIKA_R]

mayton2019, Prometheus собирает метрики . ...
# my global config
global:
scrape_interval: 5s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
# scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
alertmanagers:
- static_configs:
- targets:
# - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
# - "first_rules.yml"
# - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
# The job name is added as a label `job=` to any timeseries scraped from this config.
- job_name: "prometheus"
static_configs:
- targets: ["localhost:9090"]

- job_name: "oncall"

# metrics_path defaults to '/metrics'
# scheme defaults to 'http'.

static_configs:
- targets: ['oncall-web:8000']

- job_name: "node-exporter"
scrape_interval: 5s
static_configs:
- targets: ['node-exporter:9100']

- job_name: "blackbox-exporter"
scrape_interval: 5s
static_configs:
- targets: ['oncall_blackbox_1:9115']


- job_name: "cadvisor"
scrape_interval: 5s
static_configs:
- targets: ['cadvisor:8081']

- job_name: "sheldure-exportet"
scrape_interval: 5s
static_configs:
- targets: ['localhost:8089']

[NIKA_R]

NIKA_R, Grafana для визуализации. Там совсем простая проблеиа. Очень обидо. =(

[mayton2019]

А можешь написать запрос к прометеусу который доказывает что метрики уже есть?

[NIKA_R]

mayton2019, да конечно
curl 172.27.0.2:9115/probe?target=prometheus.io&module=...
[1] 50559
# HELP probe_dns_lookup_time_seconds Returns the time taken for probe dns lookup in seconds
# TYPE probe_dns_lookup_time_seconds gauge
probe_dns_lookup_time_seconds 0.068633555
# HELP probe_duration_seconds Returns how long the probe took to complete in seconds
# TYPE probe_duration_seconds gauge
probe_duration_seconds 0.94429496
И я вроде демонстрировала на скринах

Answer 1

[Александр Карабанов]

В настройках Grafana указан адрес Prometheus 172.27.0.2, а на самом деле у Prometheus 172.27.0.6
В любом случае указывать IP адреса так себе затея - выигрышная стратегия всегда указывать имена, вон для node-exporter имя указано и это хорошо.

Comments

[NIKA_R]

Да, но с именами он не отдает метрики. В Prometheus он видит endpoint , а если кликнуть по ссылке - данных нет. =) , только по ip

[Александр Карабанов]

NIKA_R, разумеется отдаёт. Проверь имя.