Почему скорость падает с каждым уровнем абстракции?

Question

[WSGlebKavash]

Хост-система:

Виртуалка (bridged network):

Виртуалка (Direct RouterOS):

Виртуалка (RouterOS+3proxy):

LXC-контейнер:

В качестве хост системы используется Windows 11 22H2. В качествы среды виртуализации - VMware Workstation Pro. На виртуальной машине стоит Ubuntu 22.04, виртуальные машины ходят через виртуальный RouterOS.
Почему на каждом этапе так сильно режется скорость? Где искать причину?

Comments

[ValdikSS]

Хрень какую-то вам пишут в ответах. Это всё было бы релевантно на скоростях хотя бы ближе к гигабиту, но никак не 100 мегабит.

Для начала попробуйте просто свернуть браузер во время теста, чтобы он не был виден на экране. Возможно, отрисовка графиков/статистики потребляет сильно много процессорного времени, что приводит к блокировкам сети.
Сетевые тесты лучше устраивать внутри локальной сети, а не через интернет, чтобы исключить промежуточные хосты, загруженность которых вы не знаете и повлиять на которые вы не можете.

[rPman]

Для начала сделай ВСЕ тесты одинаковыми, скачивая один и тот же файл одной и той же утилитой, желательно где то со своего провайдера (если тестируешь свою локальную сеть, размещать файлы где-нибудь вне ее но максимально близко, в идеале на местном сервере твоего провайдера)

[WSGlebKavash]

ValdikSS,

WinPE (bridged):

Porteus (bridged):

WinPE (RouterOS):

Porteus (RouterOS):

Сетевые тесты лучше устраивать внутри локальной сети

Внутри локальной сети всё работает. Проблемы только со внешними сетями.

чтобы исключить промежуточные хосты

Дело в том, чтоб проблема вылезла тогда, когда её совершенно не ждали. Надо было скопировать файлы с клиента на сервер. Файл объёмом 1 Гб копировался по протоколу FTP со скоростью 235 KB/s. Прямое соединение, скорость клиента - 500 Мбит/сек, скорость сервера - 100 Мбит/сек.

[WSGlebKavash]

rPman,

Porteus (Ubuntu as NAT Router):

[rPman]

ок, последний рывок, сделай тесты ТОЛЬКО внутри своей локальной сети, настоятельно рекомендую iperf на одну из машин сети (не виртуалка)

Answer 1

[Алексей Черемисин]

Сами не догадались?
1) у винды хреновый сетевой стек.
2) наверняка происходит этуляция сетевых карт, а не virtio- драйвера
3) для измерений пользуйте iperf
4) на каждом этапе пакет копируется в новую виртуалку из виртуалки
5) для виртуалок линукса лучше под линуксом libvirt/kvm
6) и используйте контейнеры, будет на порядок быстрее

Comments

[WSGlebKavash]

Алексей Черемисин,

4) на каждом этапе пакет копируется в новую виртуалку из виртуалки

Сетевой стек винды не исключаю, но вероятно или RouterOS чудит, или связка VMware+Hyper -V так работает.
Как можно протестировать и ускорить?

[Алексей Черемисин]

WSGlebKavash, отказаться от винды, поставить линукс и kvm.
Протестировать iperf

Answer 2

[Владимир Пилипчук]

потому, что есть потери на оверхед на каждом из уровней. И они будут тем больше, чем меньше вы попали в VTD, MTU и NUMA/vNUMA на каждом из уровней.
Если не попали - то с каждым уровнем у нас будет все больше пропусков вычислений так как не попали в тайм-слот такта вычислений.
Для решения этих и многих других проблем с производительностью сети придуманы разные технологии и инструменты.
Управление vNUMA, vSwitch, VLAN translation и множество других, которые так или иначе позволяют снизить оверхед виртуализации и оптимизировать нагрузки.
В vmware workstation таких инструментов не предусмотрено. Вам нужен ESX или уходите на нативный HyperV, там есть немного инструментов... Типа NIC teaming, которая при включении позволяет прокидывать фреймы нативно на уровень хоста без оверхеда.
Еще не маловажно использовать оборудование, которое способно работать с этими технологиями, например поддержка vt-d, vt-x и тп, и решать проблемы вложенной виртуализации.