Что с Mikrotik?

Question

[Олег Свирчев]

Добрый день. Столкнулся неожиданно для себя с тем, что Mikrotik режет канал. Стоит железка в ДЦ MikroTik-CRS125-24G-1S-RM. До свитча скорость до 8-10 Мб/с, а после свитча показывает до 50кб/с. Причем это скорость загрузки на сервер, а не скачивания. Скорость скачивания в пределах нормы. Загрузка начинается с показателей в 2 Мб/с и падает до 50-400 кб/с, причем если запустить в несколько потоков по sftp то загружает шириной в 8-10 Мб/с.

На самом Mikrotik настроен bonding на 2 порта на случай, если одного гигабита не будет хватать. Второй не используется. Но но там нигде нет настроек по урезке скорости для одного потока. Посоветуйте, что посмотреть.

Comments

[Lynn «Кофеман»]

Так может сервер режет?

[Wexter]

а зачем вы свич поставили роутить?

[Mak1012]

Так а в чем задача-то Микротика?
Какие функции он выполняет?

Answer 1

[Vladimir Zhurkin]

>

MikroTik-CRS125-24G-1S-RM

Не надо использовать Switch как роутер. Тем более слабый, тем более с bonding.
Все ресурсы у него будут уходить на CPU. Это Switch !!!
Посмотрите на его блог диаграмму. Вы уже не первый кого я встречаю, кто из 125 делает роутер.



Вот буквально в этом месяце в мерседес центре видел. При этом у них есть в наличие 2011.

Comments

[ТыжСисАдмин]

Это вообще проблема извечная. Нужно тику всёже выпилить функционал роутера из оси для свитчей, ну или ставить минимум для удобного разруливания влан + оспф, а наты всякую фигню выпилить как класс.

[Vladimir Zhurkin]

Алексей POS_troi: Я больше за второй вариант, так как иногда и некоторые вещи нужны из L3.
Да и NAT иногда ! очень несерьезный нужен. Например на первое время. Бывает такое.
Например отправка email или постучать в телеграмм.
Скрыть было бы очень правильно. Сейчас хоть есть dualboot в третим поколении.
Но я уже честно говоря задолбался такие косяки исправлять. При этом люди вообще на контакт не идут. ЧСВ зашкаливает у многих.
3 НЕДЕЛИ изучать как настроить mikrotik ! При этом в самой сетки творится хз что итд итп.

Людям платят там денег нормально. Нет видимо я себя не умею продавать.
P.S. Просто накипело.

[ТыжСисАдмин]

Vladimir Zhurkin: у меня любимый свитч для срочняковых спасений ситуации - zyxel es-4124.
Умеет вланы, дхцп, оспф и роутинг в принципе.
Вот для меня он идеал по функционалу управляемого свитча :)

Шумный правда как самолёт

[Vladimir Zhurkin]

Алексей POS_troi: Честно говоря< я уже столько железок видел, что уже пофиг чем рулить и бибикать.
В свое время сильно радовали Netgear в Ent секторе. так как WEB и Console позволяли сделать одни и те же вещи, а не как у некоторых WEB чисто формально.
Ну а если из mikrotik смотреть то вашему Zyxel конкурент сейчас CRS326, он правда недавно вышел. Думаю по нему обзорчик сделать. Железка хорошая получилась за свои деньги.

[ТыжСисАдмин]

Vladimir Zhurkin: да тоже пофиг но именно этот мне в душу влез. Пытался менять на что-то, но то того не хватает то другого. Вообще это единственный зюхель в моей жизни, так тики и циски, иногда длинки.
Вот давно подумываю с него вентиляторы выколупать и увеличить площадь пассивки. Он хоть и кор уровня, но в коре ему не стоять и процы собсно не жарят.

Если и поменяю его то на тип наверное и наверное именно на 326, просто тупо из-за веса и слегка пошире функционала. В зюхеле мне сейчас мплс не хватает жутко.
Дабл бут из 326 вообще закрывает все хочушки для срочных решений сетевых проблем.

[Vladimir Zhurkin]

Алексей POS_troi: ну 326 это самая удачная линейка пока из switch. Довели до ума. Там теперь останется увеличить кол-во портов до 48.

По поводу вентиля, ставить его все равно надо. Практика на netgear и других показывает, что все там нехило греется в итоге да же при простои. Я вот после тестов думаю в 326 тихоходный вентиль поставить, хотя казалось бы.

[Олег Свирчев]

Алексей POS_troi Vladimir Zhurkin Т.е. Вы хотите сказать, что свитч за 200 баксов не может передать нормально трафик в 5 мб/с? Т.е. если я выключу бондинг и просто включу его как свитч без каких-либо настроек, все заработает как надо и не будет потерь скорости?

[Vladimir Zhurkin]

Олег Свирчев: Цена не имеет значения. Если вы брали crs126 недавно, то условно жаль. Я сам на него смотрел пока вендер не сказал, что есть уже 326 и лучше его брать. Еще анонса на сайте mikrotik не было.

Теперь все же вернемся к вашей проблеме. Если смотреть на тесты скорости< то в самом плохом случаи производительность будет в районе 31.
https://mikrotik.com/product/CRS125-24G-1S-IN

Я бы рекомендовал сделать следующие.
Перевести 125 в работу только switch и сделать замеры скорости канала через BTest
Те замерить и проверить канал туда, где сейчас все плохо и проверить любой воткнутый ноут к 125. Если на канале все будет так же плохо,а на ноуте все хорошо будем дальше искать проблему подключив снифер.
Так же рекомендую посмотреть на график который я дал выше.
У этого роутера все, что идет не через чип будет обрезано до CPU в 1gb (ну это в теории сами понимаете.)
Тут можно посмотреть таблицу для 125
https://wiki.mikrotik.com/wiki/Manual:Switch_Chip_...
как видно bondig у всех software и идет через CPU.

[Олег Свирчев]

Vladimir Zhurkin: Дело в том, что я взял и воткнул в другой свитч, где нет нагрузки, но настройки такие же всего 1 сервер. Т.е. дело не в забивании полосы, а именно в настройках. Может для бондинга надо что-то прописать? Я не нашел ничего такого, что может быть. Или может в настройках ДЦ в котором мы находимся надо что-то прописать? Потому что вышестоящий свитч и коннект напрямую показывает нормальную скорость.

[Vladimir Zhurkin]

Олег Свирчев: bonding там можно смело убрать, если он только у вас не в режиме failover.
bonding там soft и выше 1gb (в теории) вы там не получите не как. Так как шина до CPU - 1gb, а bonding там не аппаратный.

Показывайте настройки mikrotik.
btest можно настроить на стороне и на вашем 125 посмотреть что происходит при разных пакетах.

[Олег Свирчев]

Vladimir Zhurkin: По сути настройки стандартные - https://gyazo.com/b5cde36452aa1115f1bbe60abeb9c603

[Vladimir Zhurkin]

Олег Свирчев: Скиньте все настройки.

/export compact file=myconfig

Удалите , ip и всю приватную информацию.

Еще советую попробовать обновится до 6.40 так как там очень много изменений в плане switch cpu.
+ сбросить все в ноль без восстановление заводских настроек.

[Олег Свирчев]

Vladimir Zhurkin
# aug/01/2017 18:15:07 by RouterOS 6.34.1
# software id = 6FGR-6YD1
#
/interface bridge
add name=bri-MAIN
add name=bri-MGMT
/interface bonding
add mode=802.3ad name=bond1 slaves=ether1,ether4 transmit-hash-policy=\
layer-2-and-3
/interface bridge port
add bridge=bri-MGMT interface=ether2
add bridge=bri-MAIN interface=bond1
add bridge=bri-MAIN interface=ether15
add bridge=bri-MAIN interface=ether3
add bridge=bri-MAIN interface=ether5 - 24

/ip address
add address=a.b.c.d/27 interface=bri-MGMT network=a.b.c.d
/ip route
add distance=1 gateway=a.b.c.d
/system clock
set time-zone-name=Europe/Moscow
/system routerboard settings
set protected-routerboot=disabled
/tool bandwidth-server

[Vladimir Zhurkin]

То, что вы делаете bridge на интерфейсы в общем не функция коммутатора от слово совсем.

Советы:

1) Убрать к чертям Bonding или использовать его в режиме active-backup.
bonding там soft через cpu и выше 1gb вы там все равно не увидите.
2) Убрать bridge и сделать все через vlan. При этом вам vlan интерфейсы в общем не нужно поднимать.
Пример как это сделать тут - https://habrahabr.ru/post/313702/
У вас трафик будет уже идти не через CPU, который как мы видим по картинке 1gb линк, а через switch chip. Так как Vlan 125 аппаратно поддерживает.
3) обновится до версии 6.40. Там много изменений в реализации bridge И vlan в положительную сторону.
При этом они уходят от понятие master-port и будет 1 bridge на все интерфейсы. К сожалению эта реализация пока была убрана из 6.40rc42 и теперь тесты в 6.41rc4.

4) Зачем в bridge MGMT один интерфейс ether2 ? Смысл его вообще в bridge было делать ?
5) надеюсь вы убрали ether2,1,4 из master-port ? и назначили другой master-port

[Mak1012]

Vladimir Zhurkin: Switch в Микротике реализован на чипе, можно сказать что в железе.
Тут мерять нечего - написано 1Гб на порту, так и будет.

А вообще, Микротик - замечательная железка.
Не простая в настройке, но за свои деньги просто клад.

Про производительность.
У нас сетка - примерно 100 компов в трех зданиях, десятка полтора принтеров, несколько локальных серверов (хранилище, АТС, Zabbix, почта, видеосервер, СКУД, ...). АТС Asterisk и 90 абонентов по VoIP, 13 видеокамер. Подключение к провайдеру на 60Мбит.

Все это работает на трех MikroTik-CRS125-24G-1S и 5 Cisco типа 2960.

Так вот, рулит всем этим CRS125.
На нем и Firewall, и DHCS, и Nat, и VPN, и локальный DNS, и Шейпер, и даже WiFi c CAPsMAN.
Cisco стоят на раздаче клиентам.
И ничего, никто не жалуется.
И трафик хороший.
(конечно пора бы на железку помощнее переехать, но пока хватает)

Так что не надо Микротик ругать ))

[Vladimir Zhurkin]

Mak1012:

Switch в Микротике реализован на чипе, можно сказать что в железе.
Тут мерять нечего - написано 1Гб на порту, так и будет.

Я вообще не понимаю к чему вы это написали.
Если вы прочитаете мои коментарии , то там в общем и так все сказано и зачем я вообще говорю про switch chip и что я имею ввиду.
Если вы посмотрите блог диаграмму 125, то поймете где там будет не больше 1gb и если вы знаете как работает routeros в каких случаях.

Все это работает на трех MikroTik-CRS125-24G-1S и 5 Cisco типа 2960.

Так вот, рулит всем этим CRS125.

Вы там определитесь кто и чем рулит из трех Mikrotik.
Но уже и так видно, что все размазано и в общем там проблем не будет.

Так что не надо Микротик ругать ))

В каком месте я его ругаю ?
Я говорю, что в целом не надо из коммутатора делать ротер. По крайне мере выходить за рамки L3.
Положить 125 неправильной настройкой , вообще нет проблем.

[Mak1012]

Олег Свирчев: А зачем делать bonding из гигабитных портов?
Bonding работает через CPU, думаю что он даже 1 Гб дать не сможет.

[Mak1012]

Vladimir Zhurkin: Ну я отвечал на одно из первых ваших сообщений, а так с вашими рекомендациями согласен.

"Вы там определитесь ..." - ну мы уже определились.
И ничего там не размазано, все функции висят на одном Микротике.

[Vladimir Zhurkin]

Mak1012:

Ну я отвечал на одно из первых ваших сообщений, а так с вашими рекомендациями согласен.

Тогда надо цитировать :)

И ничего там не размазано, все функции висят на одном Микротике.

Будем честными но нет.
Хотя скорость в районе 60, он вполне может переварить. Только проблема далеко не в скоростях и не скоростями только живем. Например можно открыть очень много коннектов и в общем производительность роутера упадет или превысить кол-во пакетов в секунду.
Но еще раз. Эта линейка идет как коммутатор l3, то что он умеет nat не дает ему быть роутером. Можно, но лучше не надо.

[Олег Свирчев]

Vladimir Zhurkin: Я так понимаю, Вы рекомендуете взять такой свитч? https://mikrotik.com/product/CRS326-24G-2SplusRM
Там просто есть более простая модификация, но без routerOS.

[Vladimir Zhurkin]

Олег Свирчев: Эта модель имеет как routeros так и swos.
Но я бы конечно рекомендовал обратится или в support или на форум с вашим вопросом, что бы быть 100% уверенным в покупке.

Answer 2

[kolebas]

Мне кажется тут дело не в микротик, а в sftp, я уже не раз сталкивался с тем что он медленно работает. Попробуйте те же тесты но с ssh