Подключение пула ip/27(vswitch hetzner) между тремя нодами. В чем ошибка конфига?

Question

[TonyWassup]

Здравствуйте.
Суть проблемы в том что Hetzner выдал пул ip /27 для использование их в кластере Proxmox 6.2( можно использовать на нодах в кластере для контейнеров). По инструкции wiki hetzner говорит что нужно добавить локальную подсеть (допустим 10.0.0.0/24) с портом 4000(который указывается в кабинете robot) добавив ноды к vswitch порту.
Добавить ifupdown для каждой ноды и виртуальный интерфейс.

Пример конфига сети одной из нод.

source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback

iface lo inet6 loopback
#белый ip ноды3
auto eno1
iface eno1 inet static
        address XXX.217.84.169/26
        gateway XXX.217.84.129
        up route add -net XXX.217.84.128 netmask 255.255.255.192 gw XXX.217.84.129 dev eno1

iface eno1 inet6 static
        address 2a01:4f9:4a:2096::2/64
        gateway fe80::1

#vswitch
auto eno1.4000
iface eno1.4000 inet static
        address 10.0.0.3/24
        mtu 1400
#IPv4 подсеть
        up ip addr add XXX.233.4.254/27 dev eno1.4000
        up ip rule add from XXX.233.4.254 lookup vswitch
        up ip rule add to XXX.233.4.254 lookup vswitch
        up ip route add default via XXX.233.4.225 dev eno1.4000 table vswitch
        down ip addr del XXX.233.4.254/27 dev eno1.4000
        down ip route del default via XXX.233.4.225 dev eno1.4000 table vswitch
        down ip rule del to XXX.233.4.254 lookup vswitch
        down ip rule del from XXX.233.4.254 lookup vswitch
#на этом этапе уже нода пингуется

#добавляю виртуальный интерфейс для контейнеров proxmox
auto vmbr0
iface vmbr0 inet manual
        address XXX.233.4.254/27
        bridge-ports none
        bridge-stp off
        bridge-fd 0
        #bridge-vlan-aware yes
        #bridge-vids 2-4094

Данный конфиг выпускает только ноду proxmox в сеть по ip XXX.233.4.254 но контейнеры с конфигом выданного пула сеть не видят.
ЧТо я делаю не так?

Comments

[Sergey]

Почему в бридж vmbr0 не добавили интерфейс eno1.4000? Адрес на vmbr0 не нужен.

Answer 1

[TonyWassup]

source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback

iface lo inet6 loopback

#инетрфейс в инет для ноды
auto enp0s31f6
iface enp0s31f6 inet static
address xxx.xxx.xxx.56/26
gateway xxx.xxx.xxx.1
up route add -net xxx.xxx.xxx.0 netmask 255.255.255.192 gw xxx.xxx.xxx.1 dev enp0s31f6
# route xxx.xxx.xxx.0/26 via xxx.xxx.xxx.1

iface enp0s31f6.4000 inet manual

#vSwitch
auto vmbr5
iface vmbr5 inet static
address 10.0.0.1/24
bridge-ports enp0s31f6.4000
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094
mtu 1400

Вот так работает подсеть vswitch только с конкретными лагами, так как хецнер говорит что все ip адресса из этой подсети должны выходить с одним маком... Теперь бьюсь над этой проблемой...