Публичные адреса на Proxmox через бридж, почему может вылетать через опред. время?

Question

[akelsey]

Нужна помощь сообщества, сконифигурен ProxMox на Debian 10, куплены порядка 20 публичных адресов, все они были по умолчанию привязаны на eth0, ниже как это было сконфигурено по дефолту, привожу пример с 1 адресом:

# The loopback network interface

auto lo
iface lo inet loopback

# The primary network interface
allow-hotplug eth0
auto eth0
iface eth0 inet static
        address xx.yyy.162.143/23
        gateway xx.yyy.162.1
        # dns-* options are implemented by the resolvconf package, if installed
        dns-nameservers 1.1.1.1
        dns-search mydomain.com
        
auto eth0:1
allow-hotplug eth0:1
iface eth0:1 inet static
  address xx.yyy.163.84
  netmask 255.255.255.255

После я переконфигурил таким образом (кол-во бриджей равно кол-ву публичных адресов, в примере опять же только один):

# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
allow-hotplug eth0
auto eth0
iface eth0 inet static
        address xx.yyy.162.143/23
        gateway xx.yyy.162.1
        # dns-* options are implemented by the resolvconf package, if installed
        dns-nameservers 1.1.1.1
        dns-search mydomain.com

auto vmbr1084
iface vmbr1084  inet static
 address xx.yyy.162.143
 netmask 255.255.254.0
 bridge-ports none
 bridge-stp off
 bridge-fd 0
 bridge_maxwait 0
 up ip route add xx.yyy.163.84/32 dev vmbr1084
 down ip route delete xx.yyy.163.84/32 dev vmbr1084
#Ext-84 [xx.yyy.163.84]

Внутри виртуальной машины настраивается так, в примере Windows Server (используется point-to-point link):

IP: xx.yyy.163.84
NET: 255.255.255.255
GW: xx.yyy.162.143

Всё работает прекрасно, но не долго, иногда 1 час, иногда 4 часа, логов не густо, возможно я не знаю где искать, конфигурация в целом не меняется.
Симптомы - просто все перестает работать, изнутри ВМ пропадает доступ куда угодно, снаружи тоже.
При этом изнутри я вижу arp request/arp reply, а вот с хостовой машины arp request есть, а arp replay не возвращается, в арп кэше вроде все ок.
Не понимаю даже в какую сторону копнуть.
При сбросе сетевых интерфейсов - всё опять начинает работать, но снова рандомное кол-во времени.
Буду признателен любым советам.

uname -a
Linux myhostname 5.3.18-3-pve #1 SMP PVE 5.3.18-3 (Tue, 17 Mar 2020 16:33:19 +0100) x86_64 GNU/Linux

Answer 1

[Sanes]

На хосте не надо добавлять доп. адреса, если это не host-routed. Достаточно настроить на гостевой.

Comments

[akelsey]

пул адресов является алиасом к eth0, как eth0:1, eth0:2 ... eth0:19, если подскажите каким образом назначить виртуалке интерфейс (который как вы советуете не нужно создавать) - буду безмерно благодарен.

[Sanes]

akelsey, многое зависит от вашего провайдера. Если он разрешает транслировать множество MAC адресов, то просто один бридж на основной IP, остальные в госте, согласно сетевым настройкам, которые прислал провайдер.
Если такого не допускает, то это несколько сложней.
Такие настройки использует например Hetzner для доп. сетей. У них можете посмотреть пример.

[Sanes]

akelsey,
https://wiki.hetzner.de/index.php/Zusaetzliche_IP-...
Это host-routed. Virtuozzo так из коробки умеет. Еще можете посмотреть документацию VMmanager 6. Там так же описан вариант host-routed.

[akelsey]

Sanes, спасибо, отличный материал. То что нужно похоже

[akelsey]

Sanes, ещё раз благодарю за наводку, вот уже более 14 часов машинки работают, проблем нет, даже пинг стал 18мс.

iface eth0 inet manual

# The primary network interface
#allow-hotplug eth0
auto vmbr9999
iface vmbr9999 inet static
        address xx.yyy.162.143
        netmask 255.255.254.0
        gateway xx.yyy.162.1
        dns-nameservers 1.1.1.1
        bridge_ports eth0
        bridge_stp off
        bridge_fd 0

Все остальные бриджи убрал, теперь виртуалке даю этот vmbr9999 -> а уже внутри прописываю Public IP - всё работает, не особо пока догоняю как эта шайтан магия работает, но она работает.

Вот статистика пинга с другого айпи:

по-моему результат просто офигенный почти по 50k icmp запросов на 3 адреса одновременно

[Sanes]

akelsey, обращайтесь) SSL потом починим, чат видел.

Answer 2

[fara_ib]

Может попробовать добавить еще одну виртуалочку например с pfsense и ее использовать как шлюз, так и безопасней и снорт там есть ну типа защита от враждебного инета и главное там есть мульти ван у меня в ответах была инструкция как конкретный белый ip (из нескольких) пробросить в сеть за натом ну к другим виртуалкам.

Comments

[akelsey]

Не совсем понял как поможет еще одна виртуалочка, если как раз до них связь внезапно пропадает.

Answer 3

[Пума Тайланд]

Syslog посмотрите и дмесг

Comments

[akelsey]

Абсолютно ровно всё там к сожалению. Сейчас пытаюсь включить дебаг вариант логов на проксмокс, да и проблема плавающая, по ощущениям косяк где то на L2 с arp - несколько раз даже ловил схожий интервал в 180 минут - что очень похоже что когда шлюзу xx.yyy.162.1 из интернета приходит запрос - он не имеет мак адреса кому принадлежит этот IP, т.к. на eth0 tcpdum'ом я не вижу вообще никакого трафика от моего айпи удаленного.