Как делать скорость закачки у гостей также как на физическом сервере?

Question

[louvremaster]

Имеется сервер с xen.
Странна проблема, нигде на сервере не стоит шейперов, но на физическом сервере скорость закачки максимальная, а у гостя примерно в 10 раз ниже.
Причем параметр rate в настройке гостя никак не влияет на эту скорость.
Кто сталкивался с подобным? Что может быть?

Answer 1

[Армянское Радио]

Операционная система на госте какая? Windows? А версия у нее какая? PV-драйверы поставлены?

Comments

[louvremaster]

И у гостя и на физике Centos 6

[Армянское Радио]

louvremaster: Гость паравиртуализован? Вы использовали iperf для проверки скорости связи гость <-> хост?

[louvremaster]

Да, запущены в режиме PV, проверял просто обычным wget и ссылка на iso на зеркале Яндекса.

[Армянское Радио]

louvremaster: измерьте для начала скорость между хостом и гостем при помощи iperf

[louvremaster]

Потестил, особых проблем не вижу:
Client connecting to xen, TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[ 3] local XXX.XXX.XXX.XXX port 40730 connected with XXX.XXX.XXX.XXX port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 211 MBytes 177 Mbits/sec

[Армянское Радио]

louvremaster: Маловато будет. От физического сервера конечно же зависит, но обычно iperf выдает не менее двух гигабит между гостем и хостом.

Как организована сеть? openvswitch?

[louvremaster]

Сеть организована по тагированным вланам, на физике стоят мосты для каждого влана, тот пример, который я присылал выше, как раз была отсылка из влана во влан, вот другой пример, когда и физик и гость в одном влане:
------------------------------------------------------------
Client connecting to XXX.XXX.XXX.XXX, TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[ 3] local XXX.XXX.XXX.XXX port 46292 connected with XXX.XXX.XXX.XXX port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 1.91 GBytes 1.64 Gbits/sec

[Армянское Радио]

louvremaster: это больше на правду похоже.
схема такая -
eth - > br -> (vlan->br), (vlan->br), (vlan->br)?

[louvremaster]

Да, схема такая.

[Армянское Радио]

louvremaster: Посмотрите загрузку процессоров во время теста.

[louvremaster]

Нагрузка минимальна.

[louvremaster]

Тестировал iperf на другой сервер, в другом ДЦ, и этим сервером. Аналогчино с физиком отличные результаты, с гостевой нодой в несколько раз меньше Bandwidth

[Армянское Радио]

louvremaster: в качестве танца с бубном могу openvswitch предложить

[louvremaster]

Скорее тут надо копать в сторону bridge и всяких фильтров ядра, которые возможно где-то закрались. Переделывать всю инфраструктуру не представляется возможным.

[Армянское Радио]

louvremaster: так-то да. Сами разработчики xen не отмечают, что у ovs есть преимущество по производительности перед мостами, однако конфигурировать его привычнее. Кстати, а в dmesg ничего интересного не прилетает?

[louvremaster]

Армянское Радио: неа, ничего толкового в dmesg не сыпется

[louvremaster]

Кстати, интересный момент, если запустить несколько потоков wget на госте, то все будут примерно по 1.35M/s, то есть это какое-то ограничение в один поток, только как его убрать непонятно.

[Армянское Радио]

louvremaster: Не получается ли так, что пропускная способность банально делится?

[louvremaster]

В смысле со стороны провайдера? Нет, тогда бы и на физическом сервере также было, вся соль в том, что на физике сразу всю полосу занимает, а на виртуалке вот такое странное поведение.

[Армянское Радио]

louvremaster: давайте на конфиг виртуалки посмотрим

[louvremaster]

Конфиг самый обычный:
name = 'test.hostname.xxxx.ru'
memory = 5120
disk = [ 'phy:xen/test.hostname.xxxx.ru,xvda,w' ]
vif = [ 'mac=00:16:3e:44:f5:ec,bridge=br0' ]
vcpus = 4
on_reboot = 'restart'
on_crash = 'destroy'

[Армянское Радио]

louvremaster: Попробуйте этот документ проработать