Низкая скорость ESXi в сети Mikrotik?

Question

[Shady]

Коллеги, день добрый!
Долго пытался найти проблему, думал общая, думал связана с десятком vlan на mikrotik crs326.
Простая схема, чтобы было понятно:

Сервер HP G9 DL360, ESXi7, ряд виртуальных машин с сетевым адаптером E1000E и VMXNET3
Физический компьютер 1
Физический компьютер 2

Тестирование делал через iperf, по итогу между двумя физ. компами в домене с АВЗ Касперский - вижу гигабит,
а между виртуальными машинами на esxi и физ.компьютерами 250-300 мбит.

Уже не знаю, что ещё можно проверить, прошу помочь, кто сталкивался?

--------
UPD.
В пределах одного VLAN ESXI+её ВМ скорость 5 гбит/сек, вывожу ВМ в серверный VLAN - межвлановая скорость 300 мбит.

Comments

[Артем Кайбагоров]

326 в качестве роутера используется или как l2 коммутатор?

[Shady]

Артем Кайбагоров, как L2

[Антон Антон]

вот тут похожая проблема, может оно? https://forum.mista.ru/topic/899625

[Shady]

Антон Антон, да вроде нет проблем с потерей пакетов и пингами..

[Антон Антон]

Shady, ну там потери были из-за нагрузки в других очередях. может быть тут переполнения из-за других очередей нет и оно просто замедляет. Проверить все равно не мешает.

[Shady]

В общем нашёл проблему, судя по всему в микротиках, hex s l3, crs326 l2, транк по SFP
Когда esxi и вм находятся в одной подсети - скорость по iperf 5 Гбит/сек, только стоит развести по разным vlan в разные подсети - скорость 250-300 мбит максимум.

Как решить не знаю, видимо hex настолько слабый что между vlan не может в полную силу маршрутизировать трафик. FastTrack включён.

[Ziptar]

Shady, а hex ли?
https://mikrotik.com/product/hex_s#fndtn-testresults первая табличка
https://mikrotik.com/product/crs326_24s_2q_rm#fndt... вторая табличка
Хотя 5гбит ни тот, ни другой не вывезут через cpu

Answer 1

[Юрий MikroTik]

Если низкая скорость по L2 - смотреть включён ли hw offloading
Если низкая по L3 - смотреть нагрузку на маршрутизаторе.
Если crs как L3 - на RouterOS 7 должен работать аппаратно

Comments

[Shady]

Как L2 работает, hw offloading включен, проблема именно в связке между сервером виртуализации и физическими другими хостами, другие хосты друг друга корректно видят по гигабитному каналу.

[Ziptar]

Shady, я бы начал с тупого тестирования скорости, исключив микрот. Напрямую между хостом esxi и любым другим хостом.у вмвари могут быть и дрова проблемные (оно может и не так часто встречается, но у меня детская травма на эту тему, извините)

[Ava256]

А на dl360 какие карточки? Ошибок на интерфейсах нет? Shady

[Shady]

Ziptar, ну на хосте железно варя стоит, с неё напрямую я наверное iperf то не запущу никакой)

Ava256, ошибок не вижу, карточки HPE Ethernet 1 Gbit

[Ziptar]

Shady, да с виртуалки же, просто исключив микрот по дороге

[Shady]

Ziptar, да я уже написал что проблема в микротике( через разные вланы режет скорость больше чем в 10 раз

[Ziptar]

Shady,

межвлановая скорость 300 мбит.

А каким образом реализована передача трафика между вланами? Если он через cpu идёт, то а таки шо ви хочите

[Юрий MikroTik]

Shady, я выше спрашивал на чем маршрутизация?
Давай конфиг коммутатора

[Shady]

Ziptar, от сервера линк на crs326, от crs бонд из двух линков на hex s, маршрутизация на hex s

[Shady]

Юрий MikroTik, на hex s

[Юрий MikroTik]

Shady, скорость между вланами упирается в мощность hex s, а коммутация внутри vlan аппаратная на crs и должно быть без ограничений.

По этому делай crs как L3, если нужна скорость между вланами.

[Shady]

Юрий MikroTik, меня год назад уверяли что црс не потянет сеть на 20-30 устройств плюс witeguard на два доп офиса и нужно ставить хекс, также говорят что в л3 не будет hw offload

[Юрий MikroTik]

Shady, путаешь понятия маршрутизатора и L2/L3 коммутатора

Выход в интернет и wg делаешь на hex s, а маршрутизацию между vlan на crs