Что делать со скоростью сетевой карты на сервере?

Question

[Александр Абакумов]

Всем доброго здравия.
Я уже сломал голову и не могу понять что происходит.
Имею сервер DEPO на базе материнки Supermicro X9DBL-3F/iF
Винда установила драйвер:

Все нормально, стоят и работают, но вот беда, со скоростью что-то совсем не то:


Закачиваю на этот сервер, с любого из 3 серверов файлы, при чем любые, большие, маленькие, сетевые карты ведут себя одинаково.
При чем обе сетевые ведут себя именно так. Скорость сказанёт до 600-800 Мбит/сек и упадет до нуля.
При чем, если скачивать из интернета, через торрент скажем(вчера скачивал фильм в PLEX 17ГБ), скачивается быстро на скорости 100Мбит/сек, как и дает провайдер.
Понять не могу в чем дело.
Ставил другую сетевую, Intel PRO/1000, ситуация ровно такая же.

Пробовал скачать драйвера с сайта Intel, пытаюсь поставить, ругается что типа не найдено устройство.
Пробовал скачать драйвера с сайта suopermicro, ставлю, ситуация та же, не находит сетевую карту... Но я же как-то к сети подключен...

В общем ума не приложу уже что с этим можно сделать.

Иногда бывает трафик вообще останавливается при загрузке:

Comments

[Sand]

Вы этот сервер с начала ведёте?
ЗЫ: Какая ОС?

[Александр Абакумов]

Sand, не совсем. До меня, год, его в руках держали другие люди, но это было в далеком в 2014 году когда его купили и я его с 2015 года держу, но такая история замечается последний год наверное. Он как бы особо ничего такого оне выполнял, вертелась локально 1С-ка и к ней подключались по ВЕБ-у, а сейчас решил из нее сделать бекап и файлопомойку для всякого не нужного хлама типа фильмов, музыки и прочей не важной ерунды и нарисовалась проблема. 2 Тб заканчивается сутки уже. Это ни в какие ворота

[Sand]

Александр Абакумов, Антивирусы, фаерволлы, прочие утилиты для работы с сетью пробовали отключать? Используется ли маршрутизация для обмена информацией с другими серверами?

[Александр Абакумов]

Sand, Всякие защиты отключены. Фаеорвол(Брандмауэр) не используется, копирование по сети тестировал через разные устройства. Пробовал подключить в в коммутатор микроток, потом в telesis, потом просто в "тупой", не управляемый свич. Все естественно гигабитное. Результат один и тот же. При чем такая история наблюдается не только на винде. Когда мигрировал виртуалки с Hyper-V на ESXi, использовал этот сервак как промежуточный ESXi-хост, так ситуация ровно такая же. Загрузка и выгрузка с него с такими проблемами. При этом пробовал на разные массивы и на массив RAID-контроллера, и на массив локального интегрированного SATA-контроллера, и в рейде и без. результат один и тот же.

[Sand]

Александр Абакумов, если есть возможность, проведите эксперимент, подключите ноутбук проводом в тот же коммутатор что и сервер, ноутбук должен быть в той же ip-сети что и сервер. на ноутбуке расшарьте какую-нибудь папку и погоняйте файлы между сервером и ноутбукомю Вы рассматривали что ограничение может быть не на этот сервер, а на те с которых скачивается/закачивается?

[Александр Абакумов]

Sand, погонял iperf.
ставлю сервер на другой машине, а сервер а качестве клиента:

А вот наоборот. другая машина в качестве клиента, сервер как сервер:

Скрины само собой с клиентских машин.
То есть как я понимаю, дело тут не в сети.
пробовал 30 секунд погонять, скорость держится 700+ Мбит/сек.
Значит дело не в сетевой подсистеме?! Тогда в чем? Куда дальше рыть?

[Александр Абакумов]

Sand, Все это очень странно.
Пробую через WinSCP с ESXi хоста, откуда копируется резервная копия, загрузить просто файл, вижу воттакую картину:

Я вообще не понимаю что происходит. Почему так?!
у меня 3 диска в системе.
С: - эти система, установлена на серверные Хитачи
D: - большой RAID5-массив, куда бэкапы кладутся(11Тб) там 8 дисков по 2 Тб WD RED
E: - Просто диск на 1Тб сегейт Энтерпрайз.
И везде одна и та же ситуация. На какой бы диск не сохранял, ситуация одинаковая.

[Виктор]

Попробуйте в настройках сетевой карты выключить следующие пункты: Large Send Offload Version 2 (IPv4) и Large Send Offload Version 2 (IPv4).
У меня файловый сервер на WS2019 тупил жутко при копировании, пока не "применил" данные параметры.
А вообще гляньте тут - ССЫЛКА

[Дмитрий]

Виктор, иногда помогает еще отключить flow control в настройках сетевого адаптера (зависит от коммутатора, куда включена сетевая карта)

[Александр Абакумов]

Дмитрий, там сейчас "глупый" не управляемый свич

[Александр Абакумов]

Дмитрий, после отключения Flow Control стала другая "пила":

[Drno]

Александр Абакумов, ну вот эта пила уже похожа на реальную. учитывая скорости hdd

Answer 1

[Александр Абакумов]

В общем и целом, коллеги, вроде причину нашел.
Причина по всей видимости в дисковой подсистеме, а точнее и самих дисках. пересобрал массив в RAID0 из 7 дисков и скорость подросла. Сейчас "пила" есть но не такая лютая и запись не 5-8 МБайт/сек, а 45-50.
Видимо мои WD RED прикурили. Обидно, хорошие были диски...

Comments

[Alexander]

Т.е. вы относительно надежный RAID 5 пересобрали в RAID 0 с нулевой надежностью?

[Александр Абакумов]

Alexander, Да, все верно.
Это сделано для выяснения причин происходящего, никак не для продакшена и как видно не зря.
RAID0 является самым быстрым и поэтому я запихал в него 7 дисков, чтобы все же посмотреть на разницу. Разница заметна.
Но все же любопытен вопрос, "почему так"? Ведь при копировании просто в шару по сетке, скорость записи на диск 110Мбат/сек и и сетевка загружена на 900 Мбит\сек. Почему же когда Veeam копирует в архив скорость так существенно падает?!
Возьму попробую SSD диски поставить и поглядеть чем закончится.

[Армянское Радио]

Александр Абакумов, При линейных операциях, один диск должен выдать не меньше 100 мегабайт в секунду. Пробенчите дисковую подсистему отдельно от сети.

[Александр Абакумов]

Армянское Радио, Да, спасибо за напоминание.
освобожусь этим и займусь.
Все таки сдается мне мои диски можно выкинуть:(
Есть зато 2 голда по 2Тб...
В общем и целом мне уже вот этих данных достаточно:


Теперь вот думаю. Попробовать "распинать" диски, переразметив и очистив контактные группы, или выкинуть нахрен на свалку.

Answer 2

[Alexander]

Первая приходящая мысль при виде такой "пилы", это то, что не успевает записаться скачанное с такой скоростью. Т.е. скачивается в некий буфер с большой скоростью, а пока это записывается на диск загрузка прекращается, записалось - опять качает и т.д.

Comments

[Александр Абакумов]

Да, я тоже так подумал, но попробовал через WinSCP скопировать файл, на разные диски и массивы, везде скорость одинаковая, Конда с одной из ВМ на одном из ESXi, копировал по самбе, запись не все диски 110 Мбайт/cек через эту же сетевую.
Я нифига не понимаю уже.
по WinScp копируется и записывается 30Мбай/сек(~250 Мбит/сек), по шаре 110 Мбайт/сек(где-то 900 Мбит/сек), а Veeam почему-то вот такую ерунду устраивает. Пр этом, этот же Veeam на другом сервере работает нормально.
Когда стояла на этом сервере 1С-ка, то подключаясь к кластеру с другого компа, 1С-ка грузилась минут 40, а через веб-сервисы за минуту. Пробовал загрузку и выгрузку через конфигуратор удаленно и локально, удаленно еле еле душа в теле, локально быстро. Делаю вывод что где-то затыкается и связано с тем что передача идет в сетку, но где и почему не могу понять.
Можно кстати попробовать raid0.

Answer 3

[Максим Корнеев]

дальше депо и супермикро можно не читать - купили себе головную боль, живете с ней. продолжайте импортозамещаться и покупать убогое. и пишите свои вопросы в поддержку вендора - они за это ваши деньги и получили.

Comments

[Александр Абакумов]

Странное умозаключение однако.
Себе я покупаю включительно HP, прямо мне понравилось, 380-ые особенно зашли.
Данный сервак достался за долги. В общем и целом, по сути моей проблемы. Поставил WD Gold 2Tb и проблема ушла. В общем понял одно. Ставлю Gold-ы на супермикро, снимаю с G7 всю виртуализацию и оставлю именно его под бекапы, а в супермикро прикуплю камешки и добью памяти до 256 где-нибудь и под мои нужды его хватит. в G8 так же прикуплю камешки, что-то типа Е5-2690v2, догоню до 512 или 768 и будут они у меня трудиться на благо родины.
И да, ваше мнение относительно использования брендовых серверов я разделяю полностью.