Как проверить работоспособность выделенных ip-адресов на web-сервере?

Question

[karpo518]

Есть железный web-сервер с двумя дополнительными выделенными ip-адресами. После перезагрузки сервера nginx отказался запускаться, ругаясь на дополнительные ip-адреса вот так:

emerg]: bind() to IP x.x.x.x failed (99: Cannot assign requested address)

Обнаружив проблему, я быстро заменил ip-адреса в конфигах хостов на основной ip-адрес сервера и перезапустил nginx. Сайты заработали. Я обратился в ТП дата-центра, чтобы решить проблему. ip-адреса не пинговались. Я же решил, что независимо от того, правильно или неправильно настроен сервер, ip-адреса должны пинговаться. Но мне сказали, что у меня на сервере, что-то внутри настроено неправильно.

Я вернул в конфиг старые ip-адреса и избавился от ошибки строкой net.ipv4.ip_nonlocal_bind = 1 в /etc/sysctl.conf

Nginx запустился, но сайты на дополнительных ip-адресах перестали открываться. Браузер пишет:

This site can’t be reached 
site.ru is unreachable.
ERR_ADDRESS_UNREACHABLE

Проблема в том, что я ничего на сервере не настраивал. Т.е. не выполнял никаких действий, которые могли привести к поломке. Сейчас нужно либо доказать ТП наличие аппаратной проблемы на сервере, либо продиагностировать и решить проблему в ПО сервера. Как это сделать?

Итак, a-запись домена указывает на дополнительный выделенный ip-адрес, он же выбран у домена в панели VESTACP и прописан в конфиге nginx, но сайт can’t be reached. Что это значит? Если выбирать основной ip-адрес, то сайт работает корректно.

Сервер: Ubuntu 16.04 + VESTACP + NGINX + PHP-FPM

Comments

[Nikita Krasnikov]

Попробуйте локально воспроизвести проблему, например, в докере или любой вм с той же версией nginx.

[Дмитрий]

>>> Сейчас нужно либо доказать ТП наличие аппаратной проблемы на сервере, либо продиагностировать и решить проблему в ПО сервера. Как это сделать?
Так дополнительные айпишники настроены на сервере или нет? что дает вывод команды ip a

[karpo518]

Дмитрий, ранее сайты работали с дополнительных ip-адресов сразу после добавления этих адресов в панели vestacp и указания их в хостах. В выводе команды ip a 2 элемента: lo c ip-адресом 127.0.0.1 и eno2 c основным ip-адресом сервера

Answer 1

[AUser0]

karpo518, ручное вмешательство БЫЛО, потому что вы сами видели в файле '/etc/network/interfaces' прописанные дополнительные адреса. Кто их туда прописал - это уже другой вопрос, я тут не смогу.
Почему перестало работать? Вот тут смогу. Ubuntu в очередной раз обновилась, и основной утилитой конфигурирования сети стал netplan (хотя кто его об этом не просил?). А поскольку дополнительные адреса были прописаны нестандартно, отдельными записями - скрипт миграции с одной конфигурации на другую не смог их корректно распознать/перенести, вот они и потерялись/отключились. Вуаля!

P.S. Написал, что бы можно было отметить ответ - решением.

Comments

[karpo518]

Файл /etc/network/interfaces переписан не вручную. Обратите внимание на служебные комментарии в нем. Он распарсен и модифицирован панелью vestaCP.
Кстати, при добавлении или удалении ip-адреса в панели с недавнего времени панель начала тупить, да так, что помогает только reboot сервера. Скорее всего функционал в vestaCP стал работать некорректно.

[AUser0]

IMHO, такой стиль присущь пакетам UNIX-like систем (цифра 5 в круглых скобках - это отсылка к секции с man-страницей программы).
Вряд-ли контрольная панель на столько всё контролирует.
Ну да не суть, главное - проблема решена, хотя-бы частично: панель-то виснет... :-P

[karpo518]

Я имел ввиду комменты # Added by vesta

Панель перезаписывает конфиги nginx. Не удивлюсь, если и другие файлы перезаписываются.

Answer 2

[Alexey Dmitriev]

Конечно все ip адреса должны быть настроены в настройках сетевой или сетевых карт.
В выводе команды ifconfig дополнительные адреса присутствуют?

Comments

[karpo518]

Нет, отсутствуют. Там только 127.0.0.1 и основной. Отсутствие дополнительных адресов в ifconfig является доказательством аппартной природы проблемы? С этим можно обратиться в ТП дата-центра?

[Alexey Dmitriev]

karpo518, конечно нет. IP адреса - это программная часть. если вам их выделили-вы должны их настроить у себя на сервере.

[karpo518]

Alexey Dmitriev, когда мне их выдали, от меня потребовалось минимум усилий и знаний, чтобы подключить их к хостам. Почему же перезагрузка сервера привела к тому, что система их вообще не видит?

[AUser0]

В настройках сервера должно быть указание, на какие физические сетевые вешать выделенные вам IP-адреса... Ищите в конфигах. Или перезагрузите сервер, может во время загрузки что-то сбойнуло, и IP не навешались, стоит проверить system.log.

Можно навешать вообще любые адреса, от балды, например 8.8.8.8. Но со стороны провайдера на такие адреса ничего не будет приходить (не заданы рауты этих адресов к вам). А провайдер, обнаружив такое, должен отключать и сильно ругаться.

[Alexey Dmitriev]

karpo518, это вы должны спросить у себя. Вы администратор сервера и настройка дополнительных ip адресов на сетевой карте (насколько я понимаю она у вас одна и дополнительные адреса будут "вешаться" на нее) - это прерогатива только администратора сервера. Датацентр отвечает только за их выделение и правильную маршрутизацию этих адресов до вашего сервера.

[karpo518]

AUser0, ок, попробую перезагрузить. Если не поможет, что конкретно делать?

[karpo518]

AUser0, попробую вот эту инструкцию. https://adminway.ru/kak-iz-konsoli-v-linux-dobavit...

Подозреваю во всех проблемах глючную VestaCP

[karpo518]

AUser0, перезагрузка не помогла. Оба дополнительных ip-адреса есть в /etc/network/interfaces. Основного ip-адреса в файле нет. Почему ip-адреса не работают?

[AUser0]

Ну, смотрите логи системы на предмет ошибок.

Приведите содержимое /etc/networks/interfaces здесь, заменив реальные адреса на какие-нибудь 127.0.0.100 и т.д., вдруг в нём сразу увидится ошибка...

P.S. Хммм, если там нет основного IP-адреса, может инициализация сети делается нестандартным способом?

[karpo518]

Может инициализация сети делается нестандартным способом?

Или vestaCP потерла корректный конфиг. Хотя тогда бы и онсновной ip-адрес не работал бы?

AUser0,

Код /etc/networks/interfaces

# ifupdown has been replaced by netplan(5) on this system.  See
# /etc/netplan for current configuration.
# To re-enable ifupdown on this system, you can run:
#    sudo apt install ifupdown

# Added by vesta
auto eno2:0
iface eno2:0 inet static
address xxx.yyy.zzz.230
netmask 255.255.255.0


# Added by vesta
auto eno2:0
iface eno2:0 inet static
address xxx.yyy.zzz.231
netmask 255.255.255.0

[AUser0]

Внимательно прочитайте, переведите, и поймите первые 2 строки файла /etc/network/interfaces!

P.S. Да-да, в /etc/netplan, ну написано-же.

[karpo518]

AUser0, в папке /etc/netplan лежит файл 01-netcfg.yaml Привожу его содержимое. ip-адрес w.x.y.z - Это основной адрес сервера. В нижней части перечисляются a.b.c.d и e.f.g.h Эти 2 адреса из совершенно другой подсети и неизвестны мне.

/etc/netplan/01-netcfg.yaml

# This file describes the network interfaces available on your system
# For more information, see netplan(5).
network:
  version: 2
  renderer: networkd
  ethernets:
    eno2:
      accept-ra: false
      addresses: [ w.x.y.z/24 ]
      gateway4: m.n.o.p
      nameservers:
          search: [ worldstream.nl ]
          addresses:
              - "a.b.c.d"
              - "e.f.g.h"

[AUser0]

a.b.c.d и e.f.g.h - это адреса nameserver-ов, то есть NS, или по обычному - DNS.
С их помощью адреса ya.ru переводятся в удобный компьютерам i.j.k.l вид.

А дополнительные адреса пропишите в верхнем:
addresses: [ w.x.y.z/24, xxx.yyy.zzz.230/24, xxx.yyy.zzz.231/24 ]
И в консоли под root-ом выполните: netplan apply

[karpo518]

AUser0, спасибо! Ваша инструкция сработала. Дополнительные ip-адреса появились в выводе "ip a", хотя в выводе "ifconfig" их нет даже после перезагрузки сервера. Но новые ip-адреса работают. Удивительно, что раньше всё работало без ручного вмешательства.

Answer 3

[karpo518]

При помощи AUser0:
1) Обнаружил в /etc/networks/interfaces коммент о том, что файлы настройки сети лежат в папке /etc/netplan.
2) В файле /etc/netplan лежит файл 01-netcfg.yaml обнаружил следующий код:

# This file describes the network interfaces available on your system
# For more information, see netplan(5).
network:
  version: 2
  renderer: networkd
  ethernets:
    eno2:
      accept-ra: false
      addresses: [ a.b.c.d/24 ]
      gateway4: m.n.o.p
      nameservers:
          search: [ worldstream.nl ]
          addresses:
              - "s.t.u.v"
              - "w.x.y.z"

3) Заменил строку "addresses: [ a.b.c.d/24 ]" на "addresses: [ a.b.c.d/24, e.f.g.h/24, i.j.k.l/24 ]", где:

a.b.c.d - основной адрес сервера
e.f.g.h и i.j.k.l - дополнительные ip-адреса, которые не работали, потому что отсутствовали в этой строке

4) Выполнил от имени root на сервере команду netplan apply

После выполнения шагов ip-адреса появились в выводе команды ip a