Как правильно настроить дополнительные внешние ip, как ip виртуальных машин?

Question

[MaySky]

Добрый день.

Арендовали сервер в одном ДЦ в Польше.
ОС CentOS 7 + виртуализация KVM
Получил один ip с маской 255.255.255.252(/30) и шлюзом (соответственно ip минус 1) и несколько дополнительных ip с маской 255.255.255.255 (/32) и без шлюза.

Вот содержимое
/etc/sysconfig/network-scripts/ifcfg-br0

DEVICE=br0
STP=yes
TYPE=Bridge
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
NAME=br0
UUID=eb49b3d7-ce67-4a65-a70d-26cb22e8379b
ONBOOT=yes
BRIDGING_OPTS=priority=32768
IPADDR=выданный мне основной ip
NETMASK=255.255.255.252
GATEWAY=шлюз к этому ip
DNS1=8.8.8.8
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes

/etc/sysconfig/network-scripts/ifcfg-eno1

TYPE=Ethernet
NAME=eno1
UUID=487a6cea-e2a3-495a-99fc-6302e6504c59
DEVICE=eno1
ONBOOT=yes
BRIDGE=br0

Как настроить внешние ip на интерфейсах гостевых систем в этом случае?
Был опыт настройки таких конфигураций, когда ДЦ выдавал отдельные ip и шлюзы к ним.
Как действовать сейчас не очень понимаю, а сроки горят.
Буду очень признателен за помощь.

Answer 1

[Влад Животнев]

X.X.X.X - ip хоста. yyyy - виртуалки
в виртуалке делаем так:
ip ro add x.x.x.x/32 dev ethX src y.y.y.y
ip ro replace default via x.x.x.x dev ethX

Как это сделать в своей системе - сами разберетесь уже. ip ro универсален, само собой - вопрос в том, как его при старте сети запускать.
В остальном всё так же - бридж, ip_forward=1 и поехали.

OVH подробнее про подобное пишет - help.ovh.co.uk/bridgeclient

Comments

[MaySky]

Сделал как Вы сказали. Стало

default via $host_ip dev eth0
$host_ip dev eth0 scope link src $additional_ip

Но пинг не идет с гостя даже на $host_ip, не говоря уже про интернет.

Максимум, чего удалось на этом этапе - получить этот ip без бриджа в хосте на eno1:1
Тогда идет из-вне на этот айпи пинг хотя бы.

А так нет пинга, даже если просто пропишу на интерфейсе гостя айпи и маску.
Есть еще идеи?

[Влад Животнев]

MaySky:
> получить этот ip без бриджа в хосте на eno1:1
Это вообще здесь не при чём. IP не должен присутствовать в хост-системе никоим образом.

> Есть еще идеи?
Бридж неправильно настроен или виртуалка не в этом бридже. Или virtual mac у хостера есть, а вы его неправильно виртуалки задали. Короче, миллион идей.

> А так нет пинга, даже если просто пропишу на интерфейсе гостя айпи и маску.
Без правильно настроенного роутинга - и не будет.

[MaySky]

Ну так сверху конфиг бриджа и сетевухи. Если что не так, поправьте.
Сам конфиг бриджа подсматривал в уже настроеных ранее серверах, но там все айпи были /24 со шлюзами. Но конфиг бриджа-то от этого не меняется.

[Влад Животнев]

MaySky: я в сорта говна^Wредхатов не особенно разбираюсь. Вполне вероятно, что гуёвина, настраивающая сеть, неправильно парсит конфиг (или просто неправильно поднимает бридж).

вы мне лучше brctl show, ip ro sh, ip link, ip a sh с хоста показывайте. И sysctl -a | grep forward.

[MaySky]

Я понял Вашу позицию насчет RedHat.
Настраиваю не через GUI.

Итак,

brctl show
[root@cvm1-pl ~]# brctl show
bridge name bridge id STP enabled interfaces
br0 8000.0cc47a7289b8 yes eno1

ip ro sh
default via $gw dev br0 proto static metric 425
$host_network_address/30 dev br0 proto kernel scope link src $host_ip metric 425

ip link
1: lo: mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: eno1: mtu 1500 qdisc mq master br0 state UP mode DEFAULT qlen 1000
link/ether 0c:c4:7a:72:89:b8 brd ff:ff:ff:ff:ff:ff
3: eno2: mtu 1500 qdisc mq state UP mode DEFAULT qlen 1000
link/ether 0c:c4:7a:72:89:b9 brd ff:ff:ff:ff:ff:ff
4: br0: mtu 1500 qdisc noqueue state UP mode DEFAULT
link/ether 0c:c4:7a:72:89:b8 brd ff:ff:ff:ff:ff:ff

ip a sh
1: lo: mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eno1: mtu 1500 qdisc mq master br0 state UP qlen 1000
link/ether 0c:c4:7a:72:89:b8 brd ff:ff:ff:ff:ff:ff
3: eno2: mtu 1500 qdisc mq state UP qlen 1000
link/ether 0c:c4:7a:72:89:b9 brd ff:ff:ff:ff:ff:ff
4: br0: mtu 1500 qdisc noqueue state UP
link/ether 0c:c4:7a:72:89:b8 brd ff:ff:ff:ff:ff:ff
inet $host_ip/30 brd $host_ip scope global br0
valid_lft forever preferred_lft forever
inet6 fe80::ec4:7aff:fe72:89b8/64 scope link
valid_lft forever preferred_lft forever

sysctl -a | grep forward
net.ipv4.conf.all.forwarding = 1
net.ipv4.conf.all.mc_forwarding = 0
net.ipv4.conf.br0.forwarding = 1
net.ipv4.conf.br0.mc_forwarding = 0
net.ipv4.conf.default.forwarding = 1
net.ipv4.conf.default.mc_forwarding = 0
net.ipv4.conf.eno1.forwarding = 1
net.ipv4.conf.eno1.mc_forwarding = 0
net.ipv4.conf.eno2.forwarding = 1
net.ipv4.conf.eno2.mc_forwarding = 0
net.ipv4.conf.lo.forwarding = 1
net.ipv4.conf.lo.mc_forwarding = 0
net.ipv4.ip_forward = 1
net.ipv4.ip_forward_use_pmtu = 0
net.ipv6.conf.all.forwarding = 0
net.ipv6.conf.all.mc_forwarding = 0
net.ipv6.conf.br0.forwarding = 0
net.ipv6.conf.br0.mc_forwarding = 0
net.ipv6.conf.default.forwarding = 0
net.ipv6.conf.default.mc_forwarding = 0
net.ipv6.conf.eno1.forwarding = 0
net.ipv6.conf.eno1.mc_forwarding = 0
net.ipv6.conf.eno2.forwarding = 0
net.ipv6.conf.eno2.mc_forwarding = 0
net.ipv6.conf.lo.forwarding = 0
net.ipv6.conf.lo.mc_forwarding = 0

[MaySky]

Прошу прощения, вместо $host_network_address имеется ввиду broadcast address

[Влад Животнев]

MaySky: а почему виртуалки в бридже нет?

brctl здорового человека:
root@11 ~ # brctl show
bridge name bridge id STP enabled interfaces
br0 8000.d43d7ee30598 no eth0
vnet0
vnet1
vnet2
vnet3
vnet4
vnet5
vnet6
vnet7
vnet8
vnet9

[Влад Животнев]

ммда. Всё разъехалось. hastebin.com/olutufujis.m

[MaySky]

Влад Животнев: Да, логично. Я просто к этому моменту уже закончил эксперименты. Поэтому сами виртуалки были выключены. Сейчас вот стартанул LiveCD с Fedora - теперь так:
[root@cvm1-pl ~]# brctl show
bridge name bridge id STP enabled interfaces
br0 8000.0cc47a7289b8 yes eno1
vnet0

[MaySky]

М-да...ну вы поняли...в общем в столбик написано interfaces eno1 vnet0 :)

[Влад Животнев]

MaySky: хостер какой?

[MaySky]

atman.pl

[MaySky]

Вот все, что у них есть в документации на эту тему https://eco.atman.pl/pl/oferta/serwery-i-chmura-ob... - там по-польски. Но, языки похожи, да и конфиг очевиден. Но там только про алиасы речь.

[MaySky]

Там вопрос звучит Jak podłączyć dodatkowy adres IP?

[Влад Животнев]

MaySky: у них к маку адреса не привязаны?

[MaySky]

Я не готов ответить на этот вопрос. В скудном FAQ на эту тему я ничего не нашел. С другой стороны, раз в доках предлагают адрес ставить алиасом и MAC не указывают (хотя я не знаю, может ли быть у алиаса отдельный МАС), то все может быть. Если это так, как можно выйти из этой ситуации? Или лучше задать уточняющий вопрос в техподдержку? Просто она там не очень быстрая...мягко говоря.

[Влад Животнев]

MaySky: лучше у саппортов спросить. вполне вероятно, что нужно virtual mac в панели задать/получить и виртуалке этот же адрес выдать.

[MaySky]

Я уже облазил всю панель. Единственное, что наше вообще на эту тему - это перенос айпи на другой сервак в пределах своего аккаунта и непонятную мне функцию:
Your IP-addresses

Redirection of an IP address proceeds in two stages. In the first step you need to create a unique redirecting link, in the second activate the redirection. Only an additional IP address can be redirected.

Activating the redirection can take place from any location on the network; you don\'t need to be logged in to your panel. Our server will return one of the codes:
51 Invalid code
52 Call spam (only one call per 10 minutes)
20 OK
50 Unknown error

В двух словах - напротив каждого айпи есть ссылка Create Link. Я ее жму. Мне генерируется ссылка, по которой я должен пройти вида https://panel.atman.pl/ipaddresses/doExecuteMoveAc... Когда я по ней иду, то мне просто выскакивает пустая страница и надпись 20 OK. Причем по этой ссылке можно ходить кучу раз, но на этом все. Что это конкретно даёт, мне неясно.
Что с этой ссылкой, что без нее, алиас с дополнительным айпи на хостовой системе пингуется снаружи без проблем.
Ниже есть раздел Active redirections, но, после перехода по ссылке, этот айпи там в списке не появляется.

Пожалуй, Вы правы, буду спрашивать у техподдержки. Только Вы, по доброте душевной, отвечаете мне на порядок быстрее, чем они за деньги:)

Буду держать в курсе.

Answer 2

[MaySky]

Вот что отписали.

Hello,

Please change routing mode for your server from "to address" to
mode "to interface" (see attachment).

IP configuration on guests (vm):

CENTOS

/etc/sysconfig/network-scripts/ifcfg-eth0:

DEVICE=eth0
ONBOOT=yes
IPADDR=IP1
NETMASK=255.255.255.255
NM_CONTROLLED=no
TYPE=Ethernet

/etc/sysconfig/network-scripts/route-eth0:
GATEWAY dev eth0
default via GATEWAY dev eth0

where IP1,IP2,IP3 are additional addresses (with prefix /32), and GATEWAY
is server's default gateway

Получается предложили все то же, что и Вы, только вместо основного айпи в маршрутах указывать основной шлюз. Сейчас пойду эксперементировать.

Только вот "change routing mode for your server from "to address" to
mode "to interface" не очень понял что такое. Это где такое меняется?

Comments

[MaySky]

"change routing mode for your server from "to address" to
mode "to interface" - делается в настройках пользовательской панели нажатием на мааааленькую неприметную кнопку. После этого, вышеуказанные настройки работают в CentOS. В винде можно просто прописать шлюз из другой сети, а уведомление об этом при сохранении настроек проигнорировать. PfSense тоже заработал с небольшими допиливаниями.