Почему скорость соединения уменьшается на 5%?

Question

[Dorothy]

Здравствуйте.

Мне стало интересно следующее:
при тестировании скорости обмена между гигабитными сетевыми картами с помощью утилиты iperf, скорость держится в районе 950 мбит/с.

Если переключить режим карт на 100 мбит, при таком же тестировании скорость обмена равна 95 мбит/с.
Сетевые карты в одном компьютере. Провод в районе 50 см.

Куда используются еще 5% скорости при обмене информацией? Это служебная информация или какие либо потери?

На счет версии с QoS, я сделал такие тесты:
Сделал несколько тестов, вот результаты:
Если в настройках соединения обоих карт не стоит галки на "Планировщик пакетов QoS". Политика QoS по умолчанию - галка на пропускной способности не включена.

Аналогичная картина, если галка в настройках соединения стоит. Политика включена. Уровень политики 3.

Если уровень политики 0, галка политики включена (тут и далее), картина выглядит вот так:


Если на одном ПК политика 3, на втором 0:


Если галка в настройках соединений "Планировщик пакетов QoS" снята, но политика включена на 0:


Если галка в настройках соединений "Планировщик пакетов QoS" снята, но политика включена на 3:


Все тесты выполнялись несколько раз подряд, результат примерно одинаковый.

Для 100 мегабит (ограничение в настройках сетевой карты), картина для всех параметров QoS в районе 94.5-95 мегабит/с.

Меня удивило, что параметры политики QoS продолжают влиять, даже если в настройках соединения снята галка Планировщик пакетов QoS.

Comments

[Griboks]

А вы протестировали саму iperf? Она не всегда работает правильно.

Answer 1

[Максим Мосейчук]

iperf показывает не скорость линка, а скорость передачи данных, т.е. полезной нагрузки.

Вычтите из размера MTU Ethernet, IP и UDP/TCP заголовки, поделите на MTU, и получится "КПД" линка. В вашем случае это как раз около 95%.

Comments

[Dorothy]

Насколько я понимаю, тут был задан вопрос разработчику iperf включены ли заголовки в скорости измерения.
И, вроде бы, разработчик ответил, что измеряется количество переданных байт. Как я понимаю, включая заголовки и служебную информацию:

archive.ncsa.illinois.edu/lists/iperf-users/jan08/...

[Максим Мосейчук]

Dorothy, прямо по вашей ссылке разработчик сам расписал про связь скорости и заголовков.

Max TCP Payload data rates over ethernet are thus:
(1500-40)/(38+1500) = 94.9285 % IPv4, minimal headers
(1500-52)/(38+1500) = 94.1482 % IPv4, TCP timestamps
(1500-52)/(42+1500) = 93.9040 % 802.1q, IPv4, TCP timestamps
(1500-60)/(38+1500) = 93.6281 % IPv6, minimal headers
(1500-72)/(38+1500) = 92.8479 % IPv6, TCP timestamps
(1500-72)/(42+1500) = 92.6070 % 802.1q, IPv6, ICP timestamps

iperf не может учитывать все заголовки, потому что он работает на транспортном уровне (по крайней мере в режиме, в котором запускал его ТС). Он просто не имеет доступа к заголовкам нижних уровней. А там может быть не только ethernet/ip, там может быть куча различных туннелей.

[Dorothy]

fshp, в комментарии на ответ DevMan было сказано про jumbo пакеты, я заодно решил посмотреть на трафик от iperf в wireshark. Видимо у меня как раз используются jumbo пакеты, так как wireshark показывает размер фреймов больше 1500.



Мне кажется, процентное соотношение заголовки/размер фрейма от этого должно быть другим и скорость от этого тоже должна быть выше, чем

(1500-40)/(38+1500) = 94.9285 % IPv4, minimal headers

[Максим Мосейчук]

Dorothy, учтите, что по tcp ещё подтверждение о доставке шлётся

[Dorothy]

fshp, еще вот тут есть расчет на счет jubmo фреймов, при размере пакета 9000 скорость должна быть 990 мбит/с. Попробую сделать размер пакета таким и замерить скорость.

[Dorothy]

fshp, эксперименты с mtu 8-9k дали прибавку 10 мегабит. Максимальная скорость стала 960 мегабит/с. Радует, что есть сдвиги. Но жаль, что не удалось достичь теоретических 990 мбит/с

[Максим Мосейчук]

Dorothy, попробуйте на 100 мегабит, т.к. 2 гигабита (читаете и пишите на одном компьютере) это довольно большая нагрузка, может железо не справляется.

[Dorothy]

fshp, последние тесты были на двух разных ПК, 100 мегабит тоже проверю

Answer 2

[xmoonlight]

QoS

Comments

[Dorothy]

Посмотрите, пожалуйста, мой комментарий на ответ m0nym

Answer 3

[m0nym]

QoS, включить, настроить в 0.

Comments

[Dorothy]

Сделал несколько тестов, вот результаты:
Если в настройках соединения обоих карт не стоит галки на "Планировщик пакетов QoS". Политика QoS по умолчанию - галка на пропускной способности не включена.

Аналогичная картина, если галка в настройках соединения стоит. Политика включена. Уровень политики 3.

Если уровень политики 0, галка политики включена (тут и далее), картина выглядит вот так:


Если на одном ПК политика 3, на втором 0:


Если галка в настройках соединений "Планировщик пакетов QoS" снята, но политика включена на 0:


Если галка в настройках соединений "Планировщик пакетов QoS" снята, но политика включена на 3:


Все тесты выполнялись несколько раз подряд, результат примерно одинаковый.

Для 100 мегабит (ограничение в настройках сетевой карты), картина для всех параметров QoS в районе 94.5-95 мегабит/с.

Меня удивило, что параметры политики QoS продолжают влиять, даже если в настройках соединения снята галка Планировщик пакетов QoS.

[xmoonlight]

Dorothy, проверяйте не с винды! Это единственное что могу посоветовать!

[xmoonlight]

Dorothy, свойства драйвера сетевой карты, вкладка где настройки - скринки бы ещё для общего понимания.

[Dorothy]

xmoonlight, вот это?

По умолчанию было автосогласование. Для теста 100 мегабит было 100 дуплекс

[xmoonlight]

Dorothy, вот там туча свойств в списке - нужно всё смотреть и на подключенные протоколы контроля сетевой среды и прочего в свойствах карты (основные, где TCP4, TCP6 и подобные...).
Здесь: "Управление потоком" и "Энергосберегающий Ethernet" - должны быть однозначно отключены.

[m0nym]

xmoonlight,

проверяйте не с винды! Это единственное что могу посоветовать!

при все вашей нелюбови к Windows - сетевой стек у Linux не самый идеальный по производительности.

[xmoonlight]

m0nym,

при все вашей нелюбови к Windows

Это с чего это вы так решили?

[Dorothy]

xmoonlight, не все параметры видны полностью и узнать имя некоторых параметров полностью никак не удается.

ARP Offload: Вкл
Header Data Split: Выкл
NS Offload: Вкл
Автоотключение PCIe: Выкл
Автоотключение PCHY: Выкл
Автоотключение гигабитной скорости: Выкл
Большой кадр: Выкл
Буферы передачи: 128
Буферы приема: 512
Контрольная сумма разгрузки IPv4: Rx & Tx вкл
Контрольная сумма разгрузки TCP: Rx & Tx вкл
Контрольная сумма разгрузки TCP ???: Rx & Tx вкл
Контрольная сумма разгрузки UDP: Rx & Tx вкл
Контрольная сумма разгрузки UDP ???: Rx & Tx вкл
Модерация прерывания: Вкл
Получение бокового масштабирования: Вкл
Приоритет & VLAN: Приоритет & VLAN вкл
Разгрузка при большой отправке v2 ???: Вкл
Разгрузка при большой отправке v2 ???: Вкл
Управление потоком: Вкл
Энергосберегающий Ethernet: Вкл

[xmoonlight]

Dorothy, Большой кадр: Выкл => Включить.
Приоритет & VLAN: Приоритет & VLAN вкл => Выключить
Управление потоком: Вкл => Выключить
Энергосберегающий Ethernet: Вкл => Выключить

[Dorothy]

xmoonlight, на счет большого кадра, что выбрать?
Выбрал минимальное и максимальное значение. При остальных параметрах, которые Вы указали, максимальная скорость стала 861 мбит/с.

[xmoonlight]

Dorothy, начните с 9кб и вниз потом.

[Dorothy]

xmoonlight, при любых значениях большого кадра отличного от "Выкл", скорость плавает до 800-850 мбит/с.

[xmoonlight]

Dorothy, тогда лучше оставить как было.
Можно попробовать эти отключить ещё:
Модерация прерывания: Вкл
Получение бокового масштабирования: Вкл

[Dorothy]

xmoonlight, сделал. К сожалению, так же. Максимальная скорость 950 мбит/с. Она вообще бывает гигабит в iperf на гигабитном канале?

[xmoonlight]

Dorothy, ни разу не делал подобного теста... не могу ничего сказать... Попробуйте линуху с флехи...

[m0nym]

Dorothy,

Она вообще бывает гигабит в iperf на гигабитном канале?

А служебные данные?
Их много. Показатель 950 даже неплохо, учитывая сколько служебных данных.

[m0nym]

Dorothy,

Большой кадр: Выкл

Кстати, не факт, что его поддерживает все сетевое оборудование, которое используется для связи этих двух машин. И что это оборудование настроено идентично.

[Dorothy]

m0nym, xmoonlight, действительно. Оказалось, что на второй сетевой карте mtu был указан 1500. Поставив теперь на обеих 8-9k, удалось получить +10 мегабит. Максимальная скорость стала 960 мегабит/с.

[xmoonlight]

Dorothy, а теперь попробуй отключить на обеих: Выкл

[Dorothy]

xmoonlight, на первой можно отключить. При проверке netsh interface ipv4 show subinterface говорит, что 1500.

На второй нельзя, можно только выставить значение. До изменений было 1500, его и оставил. Замерил:
видно, что при таких настройках размер пакета гуляет, что немного странно.



Вот, например, результат для MTU 8kb, и скорость там 960 мбит/с

[xmoonlight]

Dorothy, может проще 10Гб-ую карту поставить, раз так уж нужны эти 40Мбит ?

[Dorothy]

xmoonlight, они не нужны. Это все жажда познаний.

[xmoonlight]

Dorothy, ну может драйвер так написан...

[m0nym]

Dorothy,

действительно. Оказалось, что на второй сетевой карте mtu был указан 1500. Поставив теперь на обеих 8-9k, удалось получить +10 мегабит. Максимальная скорость стала 960 мегабит/с.

А если еще JUMBO-frames? И на коммутаторе тоже.

[Dorothy]

m0nym, эта опция так и называлась, jumbo MTU. Так что они и так задействованы

[m0nym]

Dorothy, А на коммутаторе/ах между сетевыми картами?

[Dorothy]

m0nym, ПК соединены просто патчкордом. Есть вариант, для увеличения скорости, попробовать через третье устройство?

Answer 4

[pfg21]

сделать отвод от кабеля и поснифать сколько лишних пакетов там пролетает.

Answer 5

[Денис]

Это всё маркетинговый обман. На 100 Мбит пролетает одиночный пакет. 5 % съедаются накладными расходами.