Почему Bonding всегда нагружает только 1 интерфейс DEBIAN?

Question

[Михаил]

Здравствуйте схема следующая, есть 4 интерфеса гигабитных, они объедены в бондинг а потом бриджем прокидыватся в KVM виртуальную машину, но при загрузке чего либо на в эту машину по сети или скачки оттуда всегда нагружается только 1 из 4тырех интерфесов, почему? В данный момент стоит mod 2 xor если я правильно понял мануал он должен свободный интерфейс под каждое новое подключение отдавать, но этого не происходит.
cat /etc/network/interfaces

auto br0
iface br0 inet static
address 192.168.0.50
gateway 192.168.0.1
netmask 255.255.255.0
broadcast 192.168.0.255
dns-nameservers 8.8.8.8
bridge_ports bond0
bridge_stp off
bridge_maxwait 0
bridge_fd 0
post-up ifup bond0
post-down ifdown bond0

auto eth0
iface eth0 inet manual
bond-master bond0

auto eth1
iface eth1 inet manual
bond-master bond0

auto eth2
iface eth2 inet manual
bond-master bond0

auto eth3
iface eth3 inet manual
bond-master bond0

auto bond0
iface bond0 inet manual
bond_mode 2
bond_miimon 100
bond_updelay 5
bond_downdelay 5
bond-slaves none

cat /proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: load balancing (xor)
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

Slave Interface: eth0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 90:e6:ba:69:e3:c9
Slave queue ID: 0

Slave Interface: eth2
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: e8:de:27:02:e5:4e
Slave queue ID: 0

Slave Interface: eth1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: e8:de:27:01:e3:92
Slave queue ID: 0

Slave Interface: eth3
MII Status: up
Speed: 1000 Mbps
Duplex: full

ifstat -S

ifstat -S
eth0 eth2 eth1 eth3 bond0 br0 virbr0 vnet0
KB/s in KB/s out KB/s in KB/s out KB/s in KB/s out KB/s in KB/s out KB/s in KB/s out KB/s in KB/s out KB/s in KB/s out KB/s in KB/s out

475.80 0.00 475.80 0.07 475.86 0.26 39356.65 175.66 40784.12 175.99 1883.59 0.26 0.00 0.00 175.73 39498.98

Answer 1

[Сергей Петриков]

Советую делать так:

bond-mode 802.3ad
bond-miimon 100
bond-lacp-rate 1
bond-slaves none

Еще неплохой вариант попробовать:

echo 1 > /sys/class/net/bond0/bonding/xmit_hash_policy

Но 802.3ad - самое критичное как со стороны сервера так и со стороны коммутатора.

Comments

[Михаил]

после последней команты он действительно стал раскидывать нагрузку на все 4 интерфейса, на исходящий трафиг, как сделать то же самое на фходящий? он продолжает гнат его в 1 канал

[Сергей Петриков]

Значит у вас не работает 802.3ad как положено, если команда помогла, пробуйте другие режимы балансировки
echo от 2 до 4 > /sys/class/net/bond0/bonding/xmit_hash_policy
но все это костыли, самый вменяемый вариант дает именно 802.3ad в правильной работе.

[Михаил]

@RicoX этот параметр работает только с режимом бондинга 802.3ad ?

[Сергей Петриков]

@nextel скорее всего, с другими лично не проверял, но вы можете попробовать и другие режимы, вот кусок доки:
Подробнее о режимах работы bonding
mode = 0 (round robin)
Круговой, циклически использует физические интерфейсы для передачи пакетов. Рекомендован для включения «по умолчанию». Этот режим работает с максимальной отдачей
mode = 1 (active-backup)
Работает только один интерфейс, остальные находятся в очереди горячей замены. Если ведущий интерфейс перестает функционировать, то его нагрузку подхватывает следующий (присвоив mac-адрес) и становится активным. Дополнительная настройка коммутатора не требуется.
mode = 2 (balance-xor)
XOR политика: Передача на основе [(исходный MAC-адрес → XOR → MAC-адрес получателя) %число интерфейсов]. Эта команда выбирает для каждого получателя определенный интерфейс в соответствии с mac-адресом. Режим обеспечивает балансировку нагрузки и отказоустойчивость.
mode = 3 (broadcast)
Все пакеты передаются на все интерфейсы в группе. Режим обеспечивает отказоустойчивость.
mode = 4 (802.3ad)
IEEE 802.3ad Dynamic Link aggregation (динамическое объединение каналов). Создает агрегации групп, имеющие одни и те же скорости и дуплексные настройки. Использует все включенные интерфейсы в активном агрегаторе согласно спецификации 802.3ad.
Предварительные реквизиты
Поддержка ethtool (позволяет отображать или изменять настройки сетевой карты) базы драйверов для получения скорости и дуплекса каждого интерфейса.
Коммутатор с поддержкой IEEE 802.3ad Dynamic Link aggregation. Большинство параметров потребует некоторой конфигурации для режима 802.3ad.
mode =5 (balance-tlb)
Адаптивная балансировка передаваемой нагрузки: канал связи не требует какой либо специальной настройки. Исходящий трафик распределяется в соответствии с текущей нагрузкой (вычисляется по скоростям) для каждого интерфейса. Входящий трафик принимается текущим интерфейсом. Если принимающий интерфейс выходит из строя, то следующий занимает его место приватизировав его mac-адрес.
Поддержка ethtool (позволяет отображать или изменять настройки сетевой карты) базы драйверов для получения скорости и дуплекса каждого интерфейса.
mode = 6 (balance-alb)
Адаптивное перераспределение нагрузки: включает balance-tlb плюс receive load balancing (rlb) для трафика IPv4 и не требует специального конфигурирования. То есть все так же как и при mode =5, только и входящий трафик балансируется между интерфейсами. Полученная балансировка нагрузки достигается опросом ARP. Драйвер перехватывает ответы ARP, направленные в локальной системе в поисках выхода и перезаписывает исходный адрес сетевой карты с уникальным аппаратным адресом одного из интерфейсов в группе.

Answer 2

[Владимир]

что на коммутаторе настроено известно?
желательно схему включения в сеть ДЦ прикладывать

Comments

[Михаил]

все это чудо воткнуто в www.netgear.ru/business/products/switches/smart-sw...
никаких доп настроек в свитче не проводилось, ни обьединений в лаги не вланов нет

[Владимир]

этот коммутатор держит "IEEE 802.3ab" (Port trunking)
включите его на всех 4 портах в сервак
и бондинг в bond-mode 802.3ad
crashmag.net/how-to-configure-network-bonding-lacp...

[Melkij]

Он не умеет LACP, но умеет транки. netgear врёт в описании, прикрываясь "ручное аггрегирование".
forum1.netgear.com/showthread.php?t=39419

[Владимир]

в очередной раз доказывает, что попытки клонировать cisco удаются лишь частично

[Михаил]

@rostel @Melkij попробовал команду из другого ответа вроде во входящих наладилось, но все ровно какое то говно

[Владимир]

какой железо таков и результат)

[Михаил]

@Melkij @rostel активизируйтесь уважаемые, заставил я эту туергу отдавать по всем 4 интерфесам, причем нагружая их постепенно как и должен 802.3ad работаь как я понимаю, а на входе этот блидушный нетгир все ровно только два интефеса нагружает причем если копируешь на сам хост инфу он нагружает 1 интефес а если на вирт машину которая бриджем стоит на хосте то нагружает другой ну или оба но не больше двух, блин голову уже сломал в нетгире постпвил 802.3 как и должно быть

[Михаил]

притом при всем что он пингует все 4 а входиящий трафик идет только по двум

[Melkij]

@nextel , мне по теме сказать нечего. У самого болтается ближайший родственник этого коммутатора, третий месяц до него руки не дотягиваются. Нагуглил только, почему LACP включить не получилось.

Answer 3

[penchekryak]

Предоставленных данных, недостаточно что бы на вопрос ответить.
Как бондинг на другой стороне настроен, куда кабеля приходят?
Выдаёт ли ядро какие-либо сообщения о работе бондинга?
dmesg | grep bond

Comments

[Михаил]

все это чудо воткнуто в www.netgear.ru/business/products/switches/smart-sw...
никаких доп настроек в свитче не проводилось, ни обьединений в лаги не вланов нет