Низкая скорость в сети на базе Mikrotik?

Question

[Shady]

Добрый день!
Жил себе спокойно, пока не решил проверить утилитой Bandwidth Test скорость между двумя микротиками в офисе.
Как тут советовали коллеги, поверх нашего первого CRS326 был докуплен HEX S в качестве маршрутизатора.
Собрал из них стэк, транк через SFP по оптике (и sfp и оптика многомодовая/мультимодовая)
На HEX S собрана вся маршрутизация, firewall, wireguard vpn для удалённого доступа, CRS326 по сути access коммутатор,
в него заходят все линки с патч-панели офиса.

При замере указываю на HEX S адрес второго микротика CRS326 и вижу такую картину




По UDP вообще асимметрия жёсткая, по TCP просто скорость ни о чём, порты все гигабитные, hardware offload включен,
fasttrack включен, flow control включил - не помогло.

Затем подумал, что может быть дело в недорогих sfp или 2 новых оптических патч-кордах, решил вместо оптики собрать агрегированный bond, 2 линками 5e прокинул транк, скорость что на tcp, что на udp 200 мегабит в сек +/- 10%, почему так получается на гигабитных портах? Можно ли решить проблему?

При самотестировании всё в порядке

Answer 1

[Юрий MikroTik]

При данном замере идет нагрузка на CPU самого микрота на генерацию трафика и его обработку. Все упирается в ресурсы CPU.

Правильный замер - это ставить ПК/Сервер в количестве 2 штук и мерить между ними через iperf

Comments

[Shady]

Ну вот у меня между виртуальными серверами на ESXi 1.6 гигабита скорость копирования файлов с одного на второй, а между компьютерами в сети либо между сервером и компьютером не поднимается выше 240 мегабит (30-35 мегабайт в сек)

[Юрий MikroTik]

Shady, конфигурацию коммутаторов можно увидеть?

[Shady]

Юрий MikroTik, https://disk.yandex.ru/d/SZlm3Jrc4a-IeA

[Юрий MikroTik]

Shady,
/ip firewall filter

Удалить все, на коммутаторе не должно быть ничего.

При тестировании какая нагрузка на CPU?

[Shady]

Юрий MikroTik, до разбирательств на crs и не было ни одного правила, это уже так, на всякий случай)
Нагрузка на скриншотах видна.

[Юрий MikroTik]

Shady, на скринах нагрузка при замерах на самих микротах.

Зарой спидтест в WinBox и мерь скорость между ПК наблюдая за процессором микрота. Вся нагрузка должна уйти в свитч-чип.

[Shady]

Юрий MikroTik, в окошке speedtest нужно указать ip ПК и учётку для входа?

[Юрий MikroTik]

Shady, в окошке микрота вообще ничего не надо указывать. На микротах не надо мерить скорость.
Скорость мерится между хостами подключенными через микрот с помощью iperf.

[Александр Абакумов]

Shady, У тебя процессор не справляется с трафиком. Нормальная история.
Юрий тебе выше описал все что нужно сделать. Исключи микротик, точнее его CPU из теста и замерь ipperf-ом.
Для примера.
У меня стоял одно время RB951 и тут я решил попытаться поднять с него VPN и прокатать 100 Мбит. Итогом скорость, даже при прокачке я получил 20-25 Мбит, при этом загрузка CPU на 100%.
Не долго думаю, перезалил всю конфу в RB5009, поставил вместо 951, прокачивается сразу 90-95 Мбит/сек и загрузка процессора около 3-7%.

[Shady]

Александр Абакумов, да не очень удобно iperf, это свободный ПК нужен в сети из-за клиентсерверной истории.

[Юрий MikroTik]

Shady, значит виртуальные машины поднять и на них iperf.
Но никак не мерить самими микротами.

[Shady]

Александр Абакумов, ты хочешь сказать когда я делаю копирование файла у меня процессор в 100% должен улетать?
и кто из двух микротиков не справляется?

[Юрий MikroTik]

Shady, на коммутаторах не должен процессор вообще грузиться. Нагрузка коммутации идёт на свитч чип.

[Shady]

Юрий MikroTik, Александр Абакумов,

Нет нагрузки на процессоры сильной, на HEX до 24% максимум поднималось, скорость копирования видно.

Да между виртуалками я говорю шикарно всё, 200 МБ/сек улетают файлы, тестирую на ISO 6Гб.

[Александр Абакумов]

Shady, Услышь пожалуйста нас.
1. Когда ты делаешь замеры с микрота, то в замере участвует центральный процессор микрота, а не свич-чип.
2. Перекачка файлов по виндовой шаре - не показатель скорости. Виндовая шара крайне дырявая и одному богу известно почему она может летать или тормозить.
скачать iperf для винды. Это приложение даже устанавливать не надо. На одном в cmd запусти сервер, на другом клиента. Произведи замер и увидишь реальную скорость между двумя узлами.
Когда ты на через коммутатор пропускаешься пакеты, то должен участвовать свич-чип, а не процессор.
Юрий MikroTik Поправь меня если я не прав, но если он собрал bridge на cpu, то от нагрузки он никуда не денется.

[Shady]

Александр Абакумов, а что при создании бриджа можно выбрать где он будет чтоль?)))))))

[Юрий MikroTik]

Александр Абакумов, я умываю руки

[Александр Абакумов]

Shady, вот это на CPU


Вот это на чипе

[Юрий MikroTik]

Александр Абакумов, не совсем так
В современных моделях через 1 бридж если активная hw. offloading - значит аппаратная коммутация.

[Александр Абакумов]

Юрий MikroTik, буду иметь ввиду. спс.
У меня железяка старая CRS12S-24G1S