А как вы тестите 10gb линки?

Question

[Пума Тайланд]

Собственно пробую iperf на ubuntu 11.04 x32

iperf -t 100 -c 192.168.20.2
— Client connecting to 192.168.20.2, TCP port 5001
TCP window size: 16.0 KByte (default)
— [ 3] local 192.168.20.5 port 57490 connected with 192.168.20.2 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-100.0 sec 67.3 GBytes 5.78 Gbits/sec



Нагрузка на проц не большая

top — 20:22:33 up 4:17, 2 users, load average: 0.00, 0.01, 0.05
Tasks: 104 total, 1 running, 103 sleeping, 0 stopped, 0 zombie
Cpu0: 0.5%us, 13.0%sy, 0.0%ni, 77.3%id, 0.0%wa, 0.0%hi, 9.2%si, 0.0%st
Cpu1: 0.0%us, 7.8%sy, 0.0%ni, 87.4%id, 0.0%wa, 0.0%hi, 4.9%si, 0.0%st
Cpu2: 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu3: 0.5%us, 0.0%sy, 0.0%ni, 99.5%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 8214952k total, 3356800k used, 4858152k free, 26140k buffers
Swap: 8335356k total, 0k used, 8335356k free, 3219448k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2226 root 20 0 19740 852 720 S 46 0.0 0:12.53 iperf
1 root 20 0 2904 1752 1252 S 0 0.0 0:00.94 init
2 root 20 0 0 0 0 S 0 0.0 0:00.00 kthreadd
3 root 20 0 0 0 0 S 0 0.0 0:00.01 ksoftirqd/0
5 root 20 0 0 0 0 S 0 0.0 0:00.43 kworker/u:0

На принимающей стороне freenas 0.8

iperf -s 192.168.20.2

top

last pid: 4432; load averages: 1.22, 0.38, 0.15 up 0+02:09:18 20:23:23
48 processes: 1 running, 47 sleeping
CPU: 1.6% user, 0.0% nice, 44.1% system, 25.0% interrupt, 29.3% idle
Mem: 60M Active, 30M Inact, 284M Wired, 3404K Cache, 116M Buf, 7495M Free
Swap: 38G Total, 38G Free

PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND
4103 root 4 76 0 15760K 2604K sbwait 1 1:09 94.19% iperf
2326 root 7 44 0 68112K 10176K ucond 1 0:01 0.00% collectd
2240 root 6 76 0 87696K 38200K uwait 3 0:00 0.00% python
2332 avahi 1 44 0 16932K 2996K select 0 0:00 0.00% avahi-daem
2086 root 1 44 0 11780K 2772K select 0 0:00 0.00% ntpd
1948 root 1 44 0 36916K 6048K select 1 0:00 0.00% nmbd

На обоих машинах в проц вроде не упирается, а скорость больше 5.8 Гигабит не показывает.
Сетевки из этой статьи
habrahabr.ru/blogs/hardware/120393/
В чем может быть проблема?

Comments

[Пума Тайланд]

Нужна производительность без джамбофреймов

Answer 1

[Mikhail Priver]

попробуйте iperf с ключем -P5

Comments

[Пума Тайланд]

iperf -P5 -c 192.168.20.2
— Client connecting to 192.168.20.2, TCP port 5001
TCP window size: 16.0 KByte (default)
— [ 3] local 192.168.20.5 port 39050 connected with 192.168.20.2 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 6.10 GBytes 5.24 Gbits/sec

iperf -w 1M -P5 -c 192.168.20.2
— Client connecting to 192.168.20.2, TCP port 5001
TCP window size: 256 KByte (WARNING: requested 1.00 MByte)
— [ 3] local 192.168.20.5 port 39051 connected with 192.168.20.2 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 5.81 GBytes 4.99 Gbits/sec

Answer 2

[amc]

>>Нужна производительность без джамбофреймов
Вам для чего 10G надо?

Comments

[Пума Тайланд]

Копировать файло.

[amc]

Пф, тогда только джамбо. Накладных расходов на маленьких пакетах в разы больше получается, а копирование файлА — чистый поток, тут только повышать жирность пакета.
Вруби джамбо, померь скорость, проверь как себя ведут другие девайсы в сети при работе с устройством с включенным джамбо. Оно того стоит.

Answer 3

[smartly]

> Cpu0: 0.5%us, 13.0%sy, 0.0%ni, 77.3%id, 0.0%wa, 0.0%hi, 9.2%si, 0.0%st
> Cpu1: 0.0%us, 7.8%sy, 0.0%ni, 87.4%id, 0.0%wa, 0.0%hi, 4.9%si, 0.0%st
> Cpu2: 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
> Cpu3: 0.5%us, 0.0%sy, 0.0%ni, 99.5%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st

проверьте irqbalance

Comments

[Пума Тайланд]

Зачем? Свободных ресурсов выше крыши.

Answer 4

[mastini]

Не вижу смысла даже пробовать без jumbo-frames.
Про MTU не забудьте.
Сейчас негде протестить, но iperf показывал, что-то около 9.3Гбит/сек

Comments

[Пума Тайланд]

То есть скорости в 10г без джамбофреймов не бывает что ли?

[mastini]

В идеальных условиях возможно, но у меня даже в мыслях никогда небыло тестировать такое :)

Answer 5

[amarao]

Во-первых посмотреть lspci -vvvv, какой там TPS на железке. Многие 10Г сетевухи идут с таким тощим PCIE, который 10Г настоящий в принципе тянуть не может, а 10Г в среде от них увидеть можно только на специальной синтетике с большим оффлоадом.

Comments

[Пума Тайланд]

А что именно надо тут посмотреть?
03:00.0 Ethernet controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection (rev 01)
Subsystem: Intel Corporation Ethernet Server Adapter X520-2
Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
Latency: 0, Cache Line Size: 64 bytes
Interrupt: pin A routed to IRQ 16
Region 0: Memory at fb780000 (64-bit, non-prefetchable) [size=512K]
Region 2: I/O ports at c020 [size=32]
Region 4: Memory at fb804000 (64-bit, non-prefetchable) [size=16K]
Expansion ROM at fb700000 [disabled] [size=512K]
Capabilities: [40] Power Management version 3
Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold-)
Status: D0 NoSoftRst- PME-Enable- DSel=0 DScale=1 PME-
Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
Address: 0000000000000000 Data: 0000
Masking: 00000000 Pending: 00000000
Capabilities: [70] MSI-X: Enable+ Count=64 Masked-
Vector table: BAR=4 offset=00000000
PBA: BAR=4 offset=00002000
Capabilities: [a0] Express (v2) Endpoint, MSI 00
DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
ExtTag- AttnBtn- AttnInd- PwrInd- RBE+ FLReset+
DevCtl: Report errors: Correctable+ Non-Fatal+ Fatal+ Unsupported+
RlxdOrd- ExtTag- PhantFunc- AuxPwr- NoSnoop+ FLReset-
MaxPayload 128 bytes, MaxReadReq 512 bytes
DevSta: CorrErr+ UncorrErr- FatalErr- UnsuppReq+ AuxPwr- TransPend-
LnkCap: Port #0, Speed 5GT/s, Width x8, ASPM L0s, Latency L0 <1us, L1 <8us
ClockPM- Surprise- LLActRep- BwNot-
LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- Retrain- CommClk+
ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
LnkSta: Speed 5GT/s, Width x2, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
DevCap2: Completion Timeout: Range ABCD, TimeoutDis+
DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis-
LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-, Selectable De-emphasis: -6dB
Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
Compliance De-emphasis: -6dB
LnkSta2: Current De-emphasis Level: -6dB
Capabilities: [e0] Vital Product Data
Unknown small resource type 00, will not decode more.
Capabilities: [100 v1] Advanced Error Reporting
UESta: DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
UEMsk: DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
UESvrt: DLP+ SDES- TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
CESta: RxErr- BadTLP- BadDLLP- Rollover- Timeout- NonFatalErr+
CEMsk: RxErr- BadTLP- BadDLLP- Rollover- Timeout- NonFatalErr+
AERCap: First Error Pointer: 00, GenCap+ CGenEn- ChkCap+ ChkEn-
Capabilities: [140 v1] Device Serial Number 00-1b-21-ff-ff-a3-c3-6c
Capabilities: [150 v1] Alternative Routing-ID Interpretation (ARI)
ARICap: MFVC- ACS-, Next Function: 1
ARICtl: MFVC- ACS-, Function Group: 0
Capabilities: [160 v1] Single Root I/O Virtualization (SR-IOV)
IOVCap: Migration-, Interrupt Message Number: 000

IOVCtl: Enable- Migration- Interrupt- MSE- ARIHierarchy-
IOVSta: Migration-
Initial VFs: 64, Total VFs: 64, Number of VFs: 64, Function Dependency Link: 00
VF offset: 384, stride: 2, Device ID: 10ed
Supported Page Size: 00000553, System Page Size: 00000001
Region 0: Memory at 0000000000000000 (64-bit, non-prefetchable)
Region 3: Memory at 0000000000000000 (64-bit, non-prefetchable)
VF Migration: offset: 00000000, BIR: 0
Kernel driver in use: ixgbe
Kernel modules: ixgbe

[amarao]

LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-, Selectable De-emphasis: -6dB

С большой вероятностью оно определяется как два PCI-E устройства, то есть общая полоса 10GT/s, что даёт потолок в 8Gb/s (восемь гигабит) с учётом 8/10 кодирования.

Типичный мухлёж интела, я недавно сам это расковыривал — amarao-san.livejournal.com/2216865.html