обычный маленький домашний кластер Proxmox'а из 2-х нод (qdevice живет отдельно)
Два Mikrotik'а(подключены между собой)
две ноды Proxmox'а(подключены к каждому из mikrotik'ов)
сеть - bridge в котором linux bond с карточками, bond-mode balance-rr. iperf (и миграция) показывают что все нормально вот только:
- периодически в логах у proxmox'ов hostname kernel: vmbr0: received packet on bond0 with own address as source address
- попытка запустить на них Mikrotik CHR (на котором тоже бридж) приводит к тому что c chr нет связи по сети
конфигурация:
Mikrotik1 - RB3011UiAS-RM,
Mikrotik2 - CRS326-24G-2S+RM
Порты везде гибитные
порты на микротиках куда втыкаются кабеля - в bridge
RouterOS 7.14.1
Proxmox 8.1.4
Proxmox1:
2 встроенных сетевухи Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 06)
Proxmox2:
встроенная сетевуха Ethernet controller: Intel Corporation Ethernet Connection (2) I219-V
и TP-Link TG-3468 (детектится как Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15))
конфигурация сети proxmox1:
auto lo
iface lo inet loopback
auto enp4s0
iface enp4s0 inet manual
#"top" connector
auto enp5s0
iface enp5s0 inet manual
#"bottom" connector
iface bond0 inet manual
bond-slaves enp4s0 enp5s0
bond-miimon 100
bond-mode balance-rr
auto vmbr0
iface vmbr0 inet static
address 192.168.88.86/24
gateway 192.168.88.1
bridge-ports bond0
bridge-stp off
bridge-fd 0
конфигурация сети proxmox2:
auto lo
iface lo inet loopback
auto enp0s31f6
iface enp0s31f6 inet manual
auto enp7s0
iface enp7s0 inet manual
auto bond0
iface bond0 inet manual
bond-slaves enp0s31f6 enp7s0
bond-miimon 100
bond-mode balance-rr
auto vmbr0
iface vmbr0 inet static
address 192.168.88.171/24
gateway 192.168.88.1
bridge-ports bond0
bridge-stp off
bridge-fd 0
source /etc/network/interfaces.d/*
Отключение любого из 4-х интерфейсов решает проблему с CHR и с сообщениями в логе этого Proxmox'а.
Bonding сделан для увеличения пропускной способности при репликации(так что lacp видимо не вариант) и для отказоусточивости (так что active-backup не вариант).
Покупать еще один CRS326 и MLAG городить - жаба душит.
Что тут можно сделать чтобы поправить проблему с CHR/логами?
Пока что в голову приходит только вариант - поставить 10G карточки с aliexpress в серверы и воткнуть их DAC-кабелями в SFP+ порты CRS326 а затем включить active-backup вместо balance-rr.
совет с
https://forum.proxmox.com/threads/same-mac-on-all-... с MACAddressPolicy=none уже none
Вот чую что возможно петля но...на iperf спокойно имею 1.9 Gbit/s
