Почему при добавление data source в Grafana сразу получаю ошибку?

Question

[John Doe]

Собственно на одном сервере установлены Prometheus и Grafana.

Метрику c localhost:9100 получаю :

go_gc_duration_seconds{quantile="0"} 1.9551e-05
go_gc_duration_seconds{quantile="0.25"} 4.2627e-05
go_gc_duration_seconds{quantile="0.5"} 5.6951e-05
go_gc_duration_seconds{quantile="0.75"} 7.7066e-05
go_gc_duration_seconds{quantile="1"} 0.000228231
go_gc_duration_seconds_sum 0.007869094
go_gc_duration_seconds_count 122
# HELP go_goroutines Number of goroutines that currently exist.
# TYPE go_goroutines gauge
go_goroutines 10
# HELP go_info Information about the Go environment.
# TYPE go_info gauge
go_info{version="go1.19.3"} 1
# HELP go_memstats_alloc_bytes Number of bytes allocated and still in use.
# TYPE go_memstats_alloc_bytes gauge
go_memstats_alloc_bytes 729928

Конфиг prometheus

global:
alerting:
  alertmanagers:
    - static_configs:
        - targets:
rule_files:
scrape_configs:
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090", "localhost:9100"]

При попытке добавить любой data source в Grafana, сразу вижу ошибку:

error reading prometheus an error occurred within the plugin grafana

Плагин prometheus, установлен в Grafana по умолчанию.

У Grafana в логах присутствует вот такая запись:

logger=context userId=1 orgId=1 uname=admin t=2023-01-25T05:12:52.872558165Z level=error msg="Internal server error" error="[plugin.downstreamError] failed to query data: received empty response from prometheus" remote_addr=192.168.200.10 traceID=

Answer 1

[Максим]

Скорее всего твоя grafana не может достучаться до prometheus. Посмотри файрвол правила и попробуй сделать curl до прометеуса.

Также это может быть из-за того что настроена авторизация в prometheus.
Например у меня была настроена oauth2 proxy для prometheus из-за чего grafana не мог достучаться. Есть тред с подобным посылом, но решения у этого нет.
У меня prometheus и grafana в одном docker-compose, поэтому я указал prometheus:9090 и избежал ошибку.

Comments

[John Doe]

Разнес Prometheus и Grafana на разные хосты.

С хоста графаны могу получить метрику курлом
curl 192.168.20.20:9100/metrics

Но при вставке данного урла в HTTP блок графаны, все та же ошибка
Error reading Prometheus: An error occurred within the plugin
с адресом 192.168.20.20:9100 тоже не работает

[Максим]

И если в блок графаны вставляешь 192.168.20.20:9100/metrics тоже ошибка? Авторизации в прометеусе нет?