Увеличить скорость сетевого соединения до 1Гб/с?

Question

[Рафаиль Бектемиров]

Добрый день,

Есть сервер ( intel s2600cp + 2*e5-2620) с 4 сетевыми картами на борту, система виртуализации PROXMOX.
Коммутатор 24 портовый, те. все порты гигабитные с пропускной способностью 48Гб\с
Пока настроена и используется 1 сетевая карта. Настроена в бридже.

spoiler

Линк на все сетевухи 1Гб

root@pve:~# ip link list
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: enp9s0f0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master vmbr0 state UP mode DEFAULT group default qlen 1000
    link/ether 00:1e:67:b7:74:10 brd ff:ff:ff:ff:ff:ff
3: enp9s0f1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master vmbr1 state UP mode DEFAULT group default qlen 1000
    link/ether 00:1e:67:b7:74:11 brd ff:ff:ff:ff:ff:ff
4: enp9s0f2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT group default qlen 1000
    link/ether 00:1e:67:b7:74:12 brd ff:ff:ff:ff:ff:ff
5: enp9s0f3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT group default qlen 1000
    link/ether 00:1e:67:b7:74:13 brd ff:ff:ff:ff:ff:ff
6: vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether 00:1e:67:b7:74:10 brd ff:ff:ff:ff:ff:ff
7: vmbr1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
    link/ether 00:1e:67:b7:74:11 brd ff:ff:ff:ff:ff:ff
8: tap100i0: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr0 state UNKNOWN mode DEFAULT group default qlen 1000

iprerf3 - между виртуальными серверами и хостом примерно одинаковый +/-

root@pve:~# iperf3 -c 192.168.1.250
Connecting to host 192.168.1.250, port 5201
[  4] local 192.168.1.254 port 51142 connected to 192.168.1.250 port 5201
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec  1010 MBytes  8.47 Gbits/sec    0    437 KBytes
[  4]   1.00-2.00   sec   941 MBytes  7.89 Gbits/sec    0    437 KBytes
[  4]   2.00-3.00   sec   955 MBytes  8.01 Gbits/sec    0    437 KBytes
[  4]   3.00-4.00   sec   969 MBytes  8.13 Gbits/sec    0    437 KBytes
[  4]   4.00-5.00   sec  1.02 GBytes  8.72 Gbits/sec    0    437 KBytes
[  4]   5.00-6.00   sec  1.03 GBytes  8.86 Gbits/sec    0    437 KBytes
[  4]   6.00-7.00   sec   985 MBytes  8.26 Gbits/sec    0    437 KBytes
[  4]   7.00-8.00   sec   801 MBytes  6.72 Gbits/sec    0    437 KBytes
[  4]   8.00-9.00   sec  1.04 GBytes  8.94 Gbits/sec    0    437 KBytes
[  4]   9.00-10.00  sec  1.06 GBytes  9.09 Gbits/sec    0    437 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec  9.67 GBytes  8.31 Gbits/sec    0             sender
[  4]   0.00-10.00  sec  9.67 GBytes  8.31 Gbits/sec                  receiver

iprerf3 - на комп в сети ч\з свич

root@pve:~# iperf3 -c 192.168.1.55
Connecting to host 192.168.1.55, port 5201
[  4] local 192.168.1.254 port 34622 connected to 192.168.1.55 port 5201
[ ID] Interval           Transfer     Bandwidth       Retr  Cwnd
[  4]   0.00-1.00   sec  12.1 MBytes   102 Mbits/sec    0    154 KBytes
[  4]   1.00-2.00   sec  11.2 MBytes  94.4 Mbits/sec    0    154 KBytes
[  4]   2.00-3.00   sec  11.2 MBytes  93.8 Mbits/sec    0    154 KBytes
[  4]   3.00-4.00   sec  11.2 MBytes  94.4 Mbits/sec    0    154 KBytes
[  4]   4.00-5.00   sec  11.2 MBytes  93.8 Mbits/sec    0    154 KBytes
[  4]   5.00-6.00   sec  11.2 MBytes  94.4 Mbits/sec    0    154 KBytes
[  4]   6.00-7.00   sec  11.2 MBytes  93.8 Mbits/sec    0    154 KBytes
[  4]   7.00-8.00   sec  11.2 MBytes  94.3 Mbits/sec    0    154 KBytes
[  4]   8.00-9.00   sec  11.2 MBytes  94.4 Mbits/sec    0    154 KBytes
[  4]   9.00-10.00  sec  11.2 MBytes  93.8 Mbits/sec    0    154 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Retr
[  4]   0.00-10.00  sec   113 MBytes  94.9 Mbits/sec    0             sender
[  4]   0.00-10.00  sec   112 MBytes  94.2 Mbits/sec                  receiver

Вопрос1: Правильно я ли понимаю, что бы увеличить скорость работы сети с устройствами и д.р. компами\серверами не виртуальными сервера нужно настроить бондинг на оставшиеся сетевые карты?

Вопрос2: Самый актуальный на данный момент как сделать\поднять скорость до номинала 1Гб\с для подключения через коммутатор.

Вопрос3: Можно в виртуальную машину прокинуть одну сетевую от сервака, думаю это будет временное решение.

Спасибо.

Comments

[Максим Мосейчук]

Коммутатор 24 портовый, те. все порты гигабитные с пропускной способностью 48Гб\с

Вы сами так решили или прочли в спецификации? 24 гигабитных порта могут делить 1 гигабитную шину и выдавать номинальную скорость только между двумя портами в момент времени.

Какая модель коммутатора?

[Рафаиль Бектемиров]

Кажется вот этот TL-SG1024D

ПРОИЗВОДИТЕЛЬНОСТЬ
Коммутационная способность 48 Гбит/с

[Дмитрий]

Проверьте что линк межу сервером и коммутатором поднимается на 1Gbps. В случае теста с компьютером через коммутатор, проверьте что на пути до компьютера тоже все линки гигабитные.

[Рафаиль Бектемиров]

Дмитрий, кажется именно ОНО!!!
проверил через другую сетевую, там оказалась всё в порядке.
А на вид все патч-корды одинаковые, литые, но один как оказалось битый!
Спасибо.

Answer 1

[Алексей Черемисин]

1) Чтобы сделать бондинг, нужен УПРАВЛЯЕМЫЙ коммутатор. Ваш не годится. Точнее - все же лучше управляемый с поддержкой 802.3ad LACP
2) Скорость в 100Мб ненормально, но весь вопрос как и чем измеряете. Рекомендую освоить iperf и потестить скорость с коммутатором и без (прямым соединением двух адаптеров).
3) Есть утилита ethtool, через нее можно посмотреть на какой скорости подключился адаптер к коммутатору. Почитать как можно например здесь - lexpr.ru/ethtool
4) Дело может быть и в полохо или неправильно обжатых кабелях. Как минимум см пункт 3.
5) Про virtio Уже Вам написали.
6) Да, в виртуалку можно прокинуть полностью физический адаптер (и даже из одного адаптера сделать несколько виртуальных!). Для этого сервер должен уметь VT-d/IOMMU (включается в BIOS), а адаптеры - SR-IOV/VFIO.

Answer 2

[Рафаиль Бектемиров]

На виртуалках и так стоят последние драйвера virtio 171 от redhat.
Вопрос не в этом. А в том что скорость за пределами виртуального коммутатора сильно падает и не выдает больше 100Мегабит !

Answer 3

[Пума Тайланд]

Настройте интеллектуальный бондинг на сетевухе а на свиче lacp раскидывать по айпи порт приемника и передатчика, трафик относительно ровно распределиться если клиентов не совсем мало