Openvz + 10Gbit

Question

[megareez]

дано: кластер проксмокса из двух нод с установлеными на них 10G intel сетевыми картами

проблема: с openvz виртуалки на хост сервере А до хост сервера Б или openvz виртуалки на хост сервере Б пропускная способность сети 2.4 гигабита. Но если мерить непосредственно с хост сервера А до хост сервера Б пропускная способность сети 9 гигабит. Соединение тестируется через iperf.

в логах: user_beancounters, dmesg, syslog, messages на предмет проблемы пусто

о великий коллективный разум приди на помощь

Answer 1

[Пума Тайланд]

попробуйте померить в kvm?
попробуйте померить между виртуалками на одном хосте?
proxmox последний?

Comments

[megareez]

да как вариант пробовали обновить с 2.3 до 3.0 в итоге остались на 3.0
тип интерфейсов на вирутальных машинах veth а не venet

в kvm не мерили
с виртуалки на виртуалку внутри одной машины тоже 2.4 — 2.6

[Пума Тайланд]

попробуйте venet
из ваших опытов ясно что упирается все в openvz, посмотрите топом, что во время тестов кушает проц на
хосте.

[megareez]

машины пустые, используются только для тестов. venet также.

[Пума Тайланд]

НУ все равно смотрите топ, я думаю там одно ядро загружено под сто процентов.

Answer 2

[joneleth]

Пробуйте с виртуалки на хост и обратно. Пробуйте netperf. openvz.org/Performance/Network_Throughput

Comments

[megareez]

netperf с виртуалки на виртуалку на разных хост машинах показывает 3.3, если запускать несколько инстансов нетперфа то он их делит эти 3.3 на инстансы.Тоже самое показывают и iperf тесты До хост машины почему-то не идет тест netperf (может он глючный в репах debian wheezy, а другой пока неставил). tcpdump показывает что идет syn пакет и на этом все, причем не важно это свой хост для виртуалки или чужой. С iperf подобной проблемы нет.

поигравшись с mtu veth сетевых внутри контейнеров в пределах одной хост машины, удалось получить результат аж в 14 Gbit внутри виртуалных машин в пределах одной хост машины.

Есть мысль что это связанно со следующим: на каждой хост машине 10-ти гигабитные сетевые определяются как eth4 их на них я повесил vmbr1 и добавляю в контейнеры veth девайсы с указаным vmbr1 бриджем. Когда идет траф с контейнера на контейнер в рамках одной хост машины он не учитывает mtu бриджа, тем не менее с контейнера на контейнер на разных хост машинах он идет через эти бриджи с mtu 1500 который не хочет меняться в большую сторону. на саму сетевую eth4 в хост машине mtu можно назначить 9100 но это не спасает.

конфиг виртуалок — по 10 ядер и 32 гига памяти

[joneleth]

Мне сейчас попробовать негде, но вот ссылки легко ищутся:
forum.proxmox.com/threads/901-Q-How-to-change-to-MTU-9000-Jumbo-Frames
forum.proxmox.com/threads/5606-Mtu-9000

Checksumming offload включен?

[megareez]

root@dev1:~# ethtool --show-offload eth5
Features for eth5:
rx-checksumming: on
tx-checksumming: on
scatter-gather: on
tcp-segmentation-offload: on
udp-fragmentation-offload: off
generic-segmentation-offload: on
generic-receive-offload: on
large-receive-offload: off
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: off
receive-hashing: on

Answer 3

[Anton Fedorov]

Используйте linux-vserver :)

Answer 4

[batovsky]

Полный дуплекс включен на обоих картах?

Comments

[megareez]

Settings for eth5:
Supported ports: [ FIBRE ]
Supported link modes: 10000baseT/Full
Supported pause frame use: No
Supports auto-negotiation: No
Advertised link modes: 10000baseT/Full
Advertised pause frame use: No
Advertised auto-negotiation: No
Speed: 10000Mb/s
Duplex: Full
Port: Direct Attach Copper
PHYAD: 0
Transceiver: external
Auto-negotiation: off
Supports Wake-on: d
Wake-on: d
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes

driver: ixgbe
version: 3.14.5
firmware-version: 0x61c10001
bus-info: 0000:04:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
supports-priv-flags: no