Почмеу гигабитная сетевуха не прокачивает гигабит при MTU=9000?

Question

[Konkase]

Добрый день!
2 сервера, соеденены пачкордом на прямую. Установлен centos7
При MTU = 1500 iperf выдаёт:
[SUM] 0.0-30.0 sec 3.29 GBytes 942 Mbits/sec
а при mtu 9000:
[SUM] 0.0-60.0 sec 3.90 GBytes 558 Mbits/sec

а если ещё и через свич: (джамбо фреймы 10000B разрешены)
[SUM] 0.0-72.6 sec 1.83 GBytes 216 Mbits/sec

Так негодует не только iperf, но и rsync/ssh, nc.

Как это лечить?

Answer 1

[Сергей Петриков]

Модель сетевой? Если пальцем в небо, то начните с:

ethtool -K em0 tso off ufo off gso off gro off lro off rx off
ethtool -K em1 tso off ufo off gso off gro off lro off rx off
ethtool -G em1 rx 4096 tx 4096
ethtool -G em0 rx 4096 tx 4096
ethtool -L em0 combined 4
ethtool -L em1 combined 4
/sbin/ifconfig em0 txqueuelen 10000
/sbin/ifconfig em1 txqueuelen 10000
echo 000000ff> /sys/class/net/em0/queues/rx-0/rps_cpus
echo 000000ff> /sys/class/net/em1/queues/rx-0/rps_cpus

echo 1 > /proc/irq/44/smp_affinity
echo 2 > /proc/irq/47/smp_affinity
echo 4 > /proc/irq/48/smp_affinity
echo 8 > /proc/irq/49/smp_affinity

echo 1 > /proc/irq/46/smp_affinity
echo 2 > /proc/irq/50/smp_affinity
echo 4 > /proc/irq/51/smp_affinity
echo 8 > /proc/irq/52/smp_affinity

А так много нюансов от модели сетевой до версии используемого драйвера, по конкретным дровам можно сказать точнее, ну и на свиче должна быть взрослая поддержка jumbo, а не для галочки.

Comments

[Konkase]

Не помогло.

сетевуха 1 - pastebin.com/SMnwkmvW
сетевуха 2 - pastebin.com/t0ZdVeBE

Да даже если без свича. выше 600 не поднимается скорость. Трафика на интерфейсах нет.

[Сергей Петриков]

Konkase: О да эти сетевые известный головняк:
https://lkml.org/lkml/2012/6/8/370
Попробуйте сначала:
ethtool -K eth0 rxhash off
, хотя нет покажите вывод
ethtool -i eth0

[Konkase]

pastebin.com/w3Df2EmD

[Сергей Петриков]

Konkase: Обновитесь до 2.5.4 минимум, кажется в этой версии проблему забороли. Свежие дрова тут https://downloadcenter.intel.com/Detail_Desc.aspx?...

[Konkase]

обновил до 3.1.0.2-NAPI, проблема остаётся

[Сергей Петриков]

Konkase: Есть возможность загрузиться с LiveCD с другой системой (Debian/Ubuntu/CentOS6/FreeBSD) и проверить снова, есть подозрение что особенность ОС, с этими сетевыми связано очень много багов, багтреккер огромный, что конкретно сбоит гадать можно долго, попробуйте может в другой системе будет работать штатно.

Answer 2

[Пума Тайланд]

А смысл заморачиваться если у вас и так при маленьком мту
При MTU = 1500 iperf выдаёт:
[SUM] 0.0-30.0 sec 3.29 GBytes 942 Mbits/sec

Comments

[Konkase]

потому что при mtu=900:
[SUM] 0.0-10.0 sec 1.16 GBytes 991 Mbits/sec

Answer 3

[throughtheether]

Дамп трафика можете показать? Есть подозрение, что TCP почему-то не выставляет адекватный размер сегмента.

Comments

[Konkase]

pastebin.com/teFE7bTU с iperf сервера

[throughtheether]

Konkase: в приведенном дампе явных проблем не обнаружил (некорректная контрольная сумма - косметический момент, связанный с захватом трафика). Думаю, дело в работе сетевой подсистемы ОС (буферы, очереди и прочая), но конкретно подсказать смогу вряд ли.

Answer 4

[Igor Nikolaev]

Производитель сетевой карты, свича, коммутатора и т.д. "гарантирует" указанную полосу пропускания при стандартных значениях для своего оборудования. В вашем случае наиболее вероятно, что ваше железо не справляется со задачами "сбора\разбора" пакетов. Вообще изменение MTU и использование джамбо фрэймов штука весьма капризная и обязательно стоит провести несколько экспериментов, что вы и сделали.