Как правильно настроить простейший вариант балансировки через Nginx для контейнеров?

Question

[Gustov]

Создал следующий конфиг, который будет распределяться на 3 ноды:
1. 2 worpdress контейнера
2. 1 wordpress контейнер + БД
3. Nginx на который будет поступать трафик и который должен распределять нагрузки межу 3 контейнерами  WP на 2 нодах.

Все работает отлично все контейнеры успешно взаимодействуют между собой.

Вопрос только в файле конфигурации для Nginx который я копирую в /etc/nginx/nginx.conf
полный код docker stack + nginx.conf. - https://jsfiddle.net/85ru

отдельно nginx.conf

events { worker_connections 1024; }

http {
  upstream localhost {
    server wordpress:8008;
  }
  server {
    listen 80;
    server_name localhost;
    location / {
      proxy_pass http://localhost;
      proxy_set_header Host $host;
    }
  }
}

Копирование конфигурации происходит успешно, в контейнере, по пути /etc/nginx/nginx.conf содержится указанный код, но при переходе на http://someip:80 я получаю 502 Bad Gateway.
Если не модифицировать файл конфигурации, то стартовая страница Nginx открывается успешно.
Контейнеры WP успешно открываются на someip:8008, вне зависимости от настроек Nginx
Получается, что вопрос лишь в настройках сервера.

Подскажите, пожалуйста, где допустил ошибку?

Comments

[Rst0]

server_name localhost; ???
server_name someip.net; !!!

[Gustov]

 поправил описание которое вводило в заблуждение.
Я перехожу на http://localhost:80

Answer 1

[Александр Карабанов]

server_name localhost; это не будет работать так,как ты ожидаешь - здесь должно быть имя домена.

По поводу proxy_pass

Синтаксис:	proxy_pass URL;
Умолчание:	—
Контекст:	location, if в location, limit_except

Задаёт протокол и адрес проксируемого сервера, а также необязательный URI, на который должен отображаться location. В качестве протокола можно указать “http” или “https”. Адрес может быть указан в виде доменного имени или IP-адреса, и необязательного порта:

Поэтому:

location / {
proxy_pass http://upstream;
proxy_set_header Host $host;
}

Ну и Nginx в качестве балансировщика нагрузки

Comments

[Gustov]

Александр Карабанов не совсем понимаю что надо указать в server_name и надо ли вообще этот параметр?

В итоге я указал следующий конфиг

events { worker_connections 1024; }

http {
upstream api_servers {
server 192.168.0.17:8008;
server 192.168.0.18:8008;
}
server {
listen 80;
location / {
proxy_pass api_servers;
}
}
}

в данном случае срабатывает редирект но если попробовать перейти в настройки вордпресс кидает на api_servers а такого домена соответственно нет.

У меня в принципе нет домена
2 ноды со своими IP, и 3 контейнерами на них.

Answer 2

[Drno]

Как в коменте указали - localhost не подходит
Используйте реальный адрес сервера

Так же - перезапускаете ли nginx после смены конфига?

Comments

[Gustov]

Drno у меня нет доменного имени, только 2 IP адреса. Да nginx перезапускается

[Drno]

Gustov, IP на которм висит nginx попробуйте вбить. вместо Localhost

[Gustov]

Drno, вы имеете ввиду все localhost изменить на IP?

events { worker_connections 1024; }

http {
upstream localhost {
server wordpress:8008;
}
server {
listen 80;
server_name 93.23.32.31;
location / {
proxy_pass 93.23.32.31;
proxy_set_header Host $host;
}
}
}

а в адресе сервера для редиректа можно оставить название сервиса WP?

Я так понимаю основная сложность что тут надо редиректить на контейнеры

[Drno]

Gustov,
Nginx же не в контейнере?
server_name - IP сервера, а не локалхост

proxy - localhost+port

Тк контейнеры мапят порты на Localhost

[Gustov]

Nginx в контейнере.

events { worker_connections 1024; }

http {
upstream ip172-18-0-79-c98qlf433d5g00flu08g-8000.direct.lab... {
server wordpress:8008;
}
server {
listen 80;
server_name ip172-18-0-79-c98qlf433d5g00flu08g-8000.direct.lab...;
location / {
proxy_pass localhost:80;
proxy_set_header Host $host;
}
}
}

и при переходе на 80 порт получаю This page isn’t working

несильно понял что и где в итоге надо поправить

[Александр Карабанов]

Gustov, для начала добавь, наконец, протокол в proxy_pass

[Gustov]

Александр Карабанов немного подразобрался, на текущее время файл выглядит следующим образом

upstream backend {
server ip172-18-0-16-c98qlf433d5g00flu08g-8008.direct.labs.play-with-docker.com:8008 max_fails=0;
server ip172-18-0-29-c98qlf433d5g00flu08g-8008.direct.labs.play-with-docker.com:8008 max_fails=0;
}

server {
listen 80;
server_name ip172-18-0-79-c98qlf433d5g00flu08g-80.direct.labs.play-with-docker.com;
location / {
proxy_read_timeout 300s;
proxy_connect_timeout 75s;
proxy_pass http://backend;
}
}

При переходе на балансер получаю 502 ошибку, в логах

2022/04/09 19:10:54 [error] 30#30: *10 upstream prematurely closed connection while reading response header from upstream, client: 10.0.0.4, server: ip172-18-0-79-c98qlf433d5g00flu08g-80.direct.labs.play-with-docker.com, request: "GET /favicon.ico HTTP/1.1", upstream: "40.121.45.0:8008/favicon.ico", host: "ip172-18-0-79-c98qlf433d5g00flu08g-80.direct.labs.play-with-docker.com", referrer: "ip172-18-0-79-c98qlf433d5g00flu08g-80.direct.labs...."
2022/04/09 19:10:55 [error] 30#30: *10 upstream prematurely closed connection while reading response header from upstream, client: 10.0.0.4, server: ip172-18-0-79-c98qlf433d5g00flu08g-80.direct.labs.play-with-docker.com, request: "GET /favicon.ico HTTP/1.1", upstream: "40.76.55.146:8008/favicon.ico", host: "ip172-18-0-79-c98qlf433d5g00flu08g-80.direct.labs.play-with-docker.com", referrer: "ip172-18-0-79-c98qlf433d5g00flu08g-80.direct.labs...."
2022/04/09 19:10:54 [error] 30#30: *10 upstream prematurely closed connection while reading response header from upstream, client: 10.0.0.4, server: ip172-18-0-79-c98qlf433d5g00flu08g-80.direct.labs.play-with-docker.com, request: "GET /favicon.ico HTTP/1.1", upstream: "40.76.55.146:8008/favicon.ico", host: "ip172-18-0-79-c98qlf433d5g00flu08g-80.direct.labs.play-with-docker.com", referrer: "ip172-18-0-79-c98qlf433d5g00flu08g-80.direct.labs...."
10.0.0.4 - - [09/Apr/2022:19:10:55 +0000] "GET /favicon.ico HTTP/1.1" 502 559 "ip172-18-0-79-c98qlf433d5g00flu08g-80.direct.labs...." "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.75 Safari/537.36" "-"

на сколько могу судить по логам балансер пытается редиректить но снова затык

[Drno]

Gustov,
"server_name ip172-18-0-79-c98qlf433d5g00flu08g-80.direct.labs.play-with-docker.com;" - вот это реальное имя контейнера?

попробуйте просто указать IP адрес контейнера
server_name 172.18.0.79

[Александр Карабанов]

Gustov,
А что это такое вообще:

ip172-18-0-16-c98qlf433d5g00flu08g-8008.direct.labs.play-with-docker.com

?
Что будет если ввести это имя в адресную строку браузера и нажать Enter?

[Gustov]

Александр Карабанов, Drno, я все поборол переездом на более мощное железо и следующим конфигом

upstream api_servers {
server 172.31.91.54:8008;
server 172.31.87.111:8008;
}
server {
listen 80;
location / {
proxy_pass http://api_servers;
proxy_send_timeout 150;
proxy_read_timeout 150;
}
}

в качестве редиректе указал IP внутренней сети теперь все работает как надо но не подгружаются стиле
так как запрос идет на http://api_servers/wp-includes/css/dashicons.min.css?ver=5.9.3 я находил решение в виде добавления в файл конфигурации строки по типу:

location ~* \.(?:css|js|map|jpe?g|gif|png)$ { }. но это не привело к успеху а даже наоборот перестала грузиться начальная страница

На сейчас у меня все успешно редиректит и в адресной строке я вижу  IP балансера + путь к WP, но для стилей запрос не срабатывает и в логах видно что идет запрос на http://api_servers/
Как для файлов стилей сделать редирект такой же как и для главной страницы?

[Александр Карабанов]

Gustov, добавь proxy_set_header Host $host;
И зарегистрируй себе бесплатный домен, например на freenom.com

[Gustov]

Александр Карабанов, а надо ли добавлять какие-нибудь записи в server_name? Или финальная конфигурации будет выглядет так

upstream api_servers {
server 172.31.91.54:8008;
server 172.31.87.111:8008;
}
server {
listen 80;
location / {
proxy_pass api_servers;
proxy_send_timeout 150;
proxy_read_timeout 150;
proxy_set_header Host testdomain.tk;
}
}

?

[Александр Карабанов]

Gustov,

надо ли добавлять какие-нибудь записи в server_name

Разумеется. Твой домен.
Зарегистрируй себе бесплатный домен, например на freenom.com