Как правильно настроить балансировку через upstream на ингрессы в разных кластерах кубернетес?

Question

[Iceforest]

хочу отправлять запросу между двумя кластерами используя nginx на отдельном сервере
есть сервер nginx на через upstream маршрутизировать на два одинаковых беканда в двух разных кластерах
допустим приложение validator развернуть в двух кластерах и имеет разные ингресс адреса
validator.amd.ru
validator.bm.ru

на nginx настроил так

server {
    listen 80;
    server_name test.test.ru;
    location / {
            return 301 https://$host$request_uri;
               }
}
upstream valid{
server validator.amd.ru:80;
server  validator.bm.ru:80;
}
server {
    listen 443 ssl;
    server_name test.test.ru;
     ssl_certificate test.test.ru.crt;
     ssl_certificate_key test.test.ru.key;



    location / {
     return 204;
    }

    location /keepalive {
       return 200;
               }
    location /api/valid {
        proxy_set_header Content-Type application/json;
        proxy_pass http://valid/api/validators;

    }
}

через апстрим не работает вообще никак
а если проксирую

location /api/valid {
        proxy_set_header Content-Type application/json;
        proxy_pass http://validator.amd.ru/api/validators;

    }

то все ок, аналогично если поставить другой домен
не понимаю в чем может быть загвоздка и почему напрямую все работает, а если апстрим нет, подскажите, пожалуйста?

Comments

[Lynn «Кофеман»]

proxy_pass по-умолчанию задаёт дополнительный заголовок proxy_set_header Host $proxy_host. В вашем случае получается
proxy_set_header Host "valid";

и я подозреваю что реальным серверам validator.amd.ru и validator.bm.ru это не нравится.

[Iceforest]

Lynn «Кофеман», если я правильно понимаю, то нужно добавить proxy_set_header Host $host; я так пробовал, не помогло
я добавлял даже больше

proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header Content-Type application/json;

обнуление тоже не помогло proxy_set_header Host "";

[Lynn «Кофеман»]

Iceforest, Думаю что хост test.test.ru им тоже не нравится. Вообще нормального способа передать нужное имя хоста нет, можно только заниматься странным двойным проксированием. Примерно так:

server {
  listen 127.0.10.1:80;
  location / {
    proxy_pass http://validator.amd.ru;
  }
}
server {
  listen 127.0.10.2:80;
  location / {
    proxy_pass http://validator.bm.ru;
  }
}

upstream valid {
  server 127.0.10.1:80;
  server 127.0.10.2:80;
}

server {
  ...
  location /api/valid {
    proxy_pass http://valid/api/validators;
  }
}

[Iceforest]

Lynn «Кофеман», 1) а есть ли другие варианты? так как мне не только одно приложение надо будет так разруливать
2) получается еще и интерфейса сетевые поднять придется с разными айпишниками?

[Lynn «Кофеман»]

1) если у вас на одном IP висит куча серверов и они разделяются только по имени домена, то особо вариантов нет. В upstream nginx всё превращает в IP-адреса при старте и информация о именах доменов теряется.

2) зачем? В зоне 127.x.x.x 16 миллионов адресов. Вам хватит

[Iceforest]

Lynn «Кофеман», напиши плиз как ответ, я помечу что верно. Все сработало

Answer 1

[Lynn «Кофеман»]

Все сервера в директиве upstream резолвятся в IP-адреса и информация об оригинальных именах теряется. Это проблема если на одном IP-адресе существует множество серверов.

Правильным решением было бы поднятие апстримов на уникальных парах IP:port, но есть обходной путь при помощи двойного проксирования.

Примерно так:

# вместо настоящих серверов указываем тут промежуточные,
# которые определены в этом же конфиге ниже
upstream valid {
  server 127.0.10.1:80;
  server 127.0.10.2:80;
}

# промежуточный сервер
server {
  listen 127.0.10.1:80;
  location / {
    proxy_pass http://validator.amd.ru;
    # тут nginx автоматически добавляет proxy_set_header Host validator.amd.ru;
    # (берёт имя домена из proxy_pass)
  }
}
# второй промежуточный сервер
server {
  listen 127.0.10.2:80;
  location / {
    proxy_pass http://validator.bm.ru;
    # тут nginx автоматически добавляет proxy_set_header Host validator.bm.ru;
  }
}

# тут ничего не меняем
server {
  ...
  location /api/valid {
    proxy_pass http://valid/api/validators;
    # теперь запросы проксируются в промежуточные сервера, которые проксируют
    # в настоящие с правильным именем домена
  }
}