Ограниченная скорость в 1Gb на Esxi на картах 10Gb, почему?

Question

[Denis Melnikov]

Доброго времени суток =)
Суть проблемы. Есть 2 сервера
1) HP DL360 Gen9 ( Установлен в LOM 10Gb SPF+ HP520 ) // ESXi 6.7 HP custom
2) HP DL380p Gen8 ( Установлена PCI-E HP NC552SFP ) // ESXi 6.5 HP custom
Коммутатор Mikrotik CRS 305 , подключено это дело такими DAC

по дискам:
На первом стоит RAID 1+0 на 6ти дисках SAS 300gb 15k
На втором , 3 массива , так же RAID 1+0 на 600gb 10k , разные конфигурации от 6 до 10 дисков.

Вроде все красиво, но вот беда. Скорость не более 1Gbit на картах.
Проверял через iperf , через vmotion и мониторинг карт на Esxi и тике .. Не более 1Gbit.

Теперь по настройкам
Настройки свитчей на гипервизорах



Сетевые карты на хостах ( такая же на втором )


Статистика iPerf, сверху прогон по 1Gbit карте, второй прогон по 10Gbit, третий по 10Gbit В 2 потока.


по тику. Тут вроде тоже все просто. 2 порта, они в своем бридже, линки 10gbit



Куда копать, не знаю ... Пробовал ставить MTU = 9000 ( есть мануалы в сети ) , не помогает.

Делалось все для vMotion ... Но чет как то не радостно.

Comments

[Strabbo]

не спец в микротиках но погуглил ваш свич.
https://mikrotik.com/product/crs305_1g_4s_in#fndtn...

скорость там различается исходя из режимов.
1.switching - тут максимальная
2. bridging- а тут примерно как у вас

У вас в конфиге заметил бриджи. может это как то связано и надо сделать по другому?

[Denis Melnikov]

Strabbo, я даже не знаю что сказать... у меня порядка 20 тиков ... и вот такое впервые =)
Да, действительно, переключил на Switch OS и все ....


Спасибо.. не знаю почему я не посмотрел эту таблицу .. Думал все будет просто. 2 интерфейса, бридж, DHCP сервер и все =)

[Denis Melnikov]

Дмитрий, понял, протестирую после обеда, отпишусь обязательно

Answer 1

[Дмитрий]

У вас Hardware offload на порту брижда sfp-sfpplus1 по каким-то причинам не активировался, поэтому данные свичевались процессором коммутатора, а не аппаратно свич-чипом. Насколько я помню, HW. offload в коммутаторах Микротик работает только для первого созданного бриджа, а у вас порты SFP+ в bidge2, возможно причина в этом. Если ether1 используется только для управления, попробуйте вывести его из бриджа и использовать независимо, а порты SFP+ перевести в bridge1.

Comments

[Denis Melnikov]

Да, перенес в br1 сфпки, сразу появился значок H , прикольная фишка. Надо будет переделать конфиг тогда

[Denis Melnikov]

Дмитрий , воткнул просто в первый бридж и вланы повесил, вообщем, пошло дело.
Я еще удивлялся, почему при обычной нагрузке, проц почти 100% .. оказывается вот в чем дело, не было HW Включено

Answer 2

[Валентин]

Может быть несколько проблем, вот только часть вариантов:

• Пропускная способность vswitch
  
• Некорректно встали драйвера на сетевухи
  
• Медный кабель с наводками или вообще поврежден
  

В таких случаях проверять надо в режиме UDP, задав скорость 10G в ключе, и смотреть, в том числе packet drop.
Скорость поставить жестко 10GE, отключить автоопределение.

Надо локализовать проблему.

1. Исключить микротик - соединить два сервера на прямую и проверить между ними скорость.
   
2. Исключить vmware - загрузить серверы с чистыми линуксами, прогнать между ними скорость.
   
3. Исключить DAC - подключить двумя обычными SFP и оптическим шнурком.
   

P. S. в вашем случае вообще похоже на то, что ваш микротик не пропускает больше гигабита (см Ethernet Test). То, что порты 10GE, не факт, что девайс пропустит эти 10GE.

Comments

[Denis Melnikov]

Решение в комментариях.. Почему то в режиме моста, действительно было ограничение, включил режим SwOS и все. Работает. vMotion уперся уже в диски ( 350мб в секунду )