Скорее всего твоя grafana не может достучаться до prometheus. Посмотри файрвол правила и попробуй сделать curl до прометеуса.
Также это может быть из-за того что настроена авторизация в prometheus. 
Например у меня была настроена oauth2 proxy для prometheus из-за чего grafana не мог достучаться. Есть 
тред с подобным посылом, но решения у этого нет. 
У меня prometheus и grafana в одном docker-compose, поэтому я указал 
prometheus:9090 и избежал ошибку.