дано: кластер проксмокса из двух нод с установлеными на них 10G intel сетевыми картами
проблема: с openvz виртуалки на хост сервере А до хост сервера Б или openvz виртуалки на хост сервере Б пропускная способность сети 2.4 гигабита. Но если мерить непосредственно с хост сервера А до хост сервера Б пропускная способность сети 9 гигабит. Соединение тестируется через iperf.
в логах: user_beancounters, dmesg, syslog, messages на предмет проблемы пусто
netperf с виртуалки на виртуалку на разных хост машинах показывает 3.3, если запускать несколько инстансов нетперфа то он их делит эти 3.3 на инстансы.Тоже самое показывают и iperf тесты До хост машины почему-то не идет тест netperf (может он глючный в репах debian wheezy, а другой пока неставил). tcpdump показывает что идет syn пакет и на этом все, причем не важно это свой хост для виртуалки или чужой. С iperf подобной проблемы нет.
поигравшись с mtu veth сетевых внутри контейнеров в пределах одной хост машины, удалось получить результат аж в 14 Gbit внутри виртуалных машин в пределах одной хост машины.
Есть мысль что это связанно со следующим: на каждой хост машине 10-ти гигабитные сетевые определяются как eth4 их на них я повесил vmbr1 и добавляю в контейнеры veth девайсы с указаным vmbr1 бриджем. Когда идет траф с контейнера на контейнер в рамках одной хост машины он не учитывает mtu бриджа, тем не менее с контейнера на контейнер на разных хост машинах он идет через эти бриджи с mtu 1500 который не хочет меняться в большую сторону. на саму сетевую eth4 в хост машине mtu можно назначить 9100 но это не спасает.
root@dev1:~# ethtool --show-offload eth5
Features for eth5:
rx-checksumming: on
tx-checksumming: on
scatter-gather: on
tcp-segmentation-offload: on
udp-fragmentation-offload: off
generic-segmentation-offload: on
generic-receive-offload: on
large-receive-offload: off
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: off
receive-hashing: on
Settings for eth5:
Supported ports: [ FIBRE ]
Supported link modes: 10000baseT/Full
Supported pause frame use: No
Supports auto-negotiation: No
Advertised link modes: 10000baseT/Full
Advertised pause frame use: No
Advertised auto-negotiation: No
Speed: 10000Mb/s
Duplex: Full
Port: Direct Attach Copper
PHYAD: 0
Transceiver: external
Auto-negotiation: off
Supports Wake-on: d
Wake-on: d
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes
