Как сделать 10 гигабитную локальную сеть?

Question

[Денис Юламанов]

Как правильно сделать 10 гигабитную локальную сеть(в корпоративных целях)?
Имеется NAS Synology на 10ТБ и сервер. На сервере находится файлопомойник (сетевой диск), откуда делается бэкап в NAS. Проблема заключается в том, что в файлопомойнике набралось более 4ТБ различных важных вещей, которые очень долго загружаются в NAS(2.5 дня). Хочу модернизировать сеть так, чтобы резервное копирование NAS занимало хотя бы один рабочий день. Как это сделать? Какое оборудование посоветуете (скорость записи/чтения - скорость передачи)?

Comments

[Ziptar]

Учитывая, что скорость у вас не выше 200мегабит выходит, следовательно сеть гигабитная номинально, то узким местом являются накопители либо на nas, либо на сервере; так что оттуда и начинайте.

Возможно, вы копируете данные пофайлово. Попробуйте копировать блочно. Тогда много мелких файлов перестанут быть проблемным фактором.

[Ziptar]

Там, чисто для сравнения, у меня данных немного - около терабайта. Файловый сервер виртуализирован, данные на vhdx диске. Копирую полностью виртуалку на iscsi том, находящийся на nas, который напрямую подключен к серверу гигабитным линком. Линк утилизируется практически полностью, а не на 1/5. С дисками никаких изысков, обычное зеркало на 5400 хардах (CMR) и на сервере и на nas. Правда, мне в какое-то время над самим этим nas колдовать пришлось, потому что изначально он дохлый был, но это отдельная история.
Не предлагаю ориентироваться на стратегию с iscsi, оно у меня сугубо для дедупликации так сделано, но это не самая безотказная схема; тем не менее блочное копирование = профит

[RStarun]

"Имеется NAS Synology на 10ТБ ". Вопрос в производительности этой конфигурации. Вдруг там R5 из 3 дисков по 10tb 7200rpm. Бывает необходимо реализовать схему где данные сначала копируются на быстрые диски (SSD) и только потом, неспешно, переносятся на медленную емкость.

Если нужно делать полные бэкапы и влезать в окно бэкапа, нужно понять где узкое место. Это может быть источник (скорость чтения с сервера, обычно последовательная), получатель (NAS, обычно тоже последовательная запись), сеть.

Вы решили для себя что это сеть, но посмотрите реальную нагрузку за сеть во время бэкапа. NAS может и не покажет, но любой сервер включает в себя средства мониторинга и диспетчер задач вам покажет и нагрузку на сеть и нагрузку на диски.

Кстати, общую пропускную способность сети можно немного поднять если включить на всех этапах следования пакетов (ОС/сетевая карта/коммутатор/сетевая карта/ОС) Jumbo frame. Это позволит снизить накладные расходы и увеличить скорость передачи реальных данных. 3-5% повышение производительности без смены железа.

Кроме перечисленных выше возможно еще одно узкое место, это средство резервного копирования. Если по сети передавать данные в один поток, то, как правило, утилизация сети ниже чем при многопоточной передаче.

Answer 1

[Drno]

просто используйте rsync, он умеет дописывать файлы.. зачем каждый раз целиком то всё копировать...
ну или 2 сетевухи покупайте и патч корд между ними)
ну и второй логичный вопрос - если у Вас hdd там то они такую скорость не выдадут

Comments

[Денис Юламанов]

Сетевухи какие посоветуете? Жесткие(Твердотельные) диски?

[Drno]

Денис Юламанов, я не могу посоветовать такие сетевухи, тут опыта нету.

[res2001]

Делайте инкрементный бэкап (копируйте только измененные файлы). Если 4 Тб - это какие-то офисные файлы, то за рабочий день будет меняться мало файлов. Нет никакого смысла каждый день делать полный бэкап.

На винде это легко делается, т.к. при изменении у файла выставляется аттрибут "архивный". При бэкапе аттрибут можно снимать (автоматически). Такую схему легко реализовать на простых скриптах.
Можно использовать, например robocopy или xcopy. Кстати, думается, что скрипт с xcopy/robocopy будет работать быстрее rsync, т.к. файлов у вас много, а rsync вычисляет хэши на каждый файл. xcopy/robocopy просто смотрят на аттрибут и если он есть - копируют, после копирования - аттрибут снимают с файла.
По тому же принципу можно файлы архивировать. Если мне не изменяет память консольный 7zip умеет анализировать аттрибут архивный. Копировать можно уже готовый архив.

На линуксе у файлов нет архивного аттрибута, но можно использовать дату изменения и копиравать файлы только с текущей датой изменения.

Answer 2

[Ava256]

Вы хотите чтобы Васим сеть спроектировали?
Ответ на ваш вопрос зависит от многих параметров.Простой ответ, это вам нужен коммутатор с портами 10gb, сетевые карты с портами 10gb в сервере и Synology и провода между ними, скорее всего оптика или DAC-кабели, в зависимости от расстояния между устройствами. Теоретически можно подключить сервер к Synology и на прямую.Порты 10GBASE-T ( Rj45 ) не советую.

Comments

[Komrus]

А чем Вас так медный (10GBase-T) пугает?

Кабели только приличные надо...

[Ava256]

Komrus, у медного задержки большие, что может быть критично особенно для подключения к СХД, низкая помехозащищищенность и sfp+ больше распространено.это важно если инфраструктура будет развиваться

[Алексей Черемисин]

Если малые расстояния, то используйте DAC-кабели, иначе - оптика.
Хотя у меня витая пара на 10G, но по стоимости получается дороже, чем DAC и оптика. Но уж так сложилось, сам дурак..

[Алексей Черемисин]

Ну и да, инкрементальные бекапы в любом случае. Рекомендую kopia.

[Komrus]

Ava256,
"Инфраструктура", "СХД" и "SFP+ модули" с оптикой - это всё становится, на мой вкус, актуально, когда в самом деле корпорация-корпорация... На несколько тысяч пользователей, ЦОДы и всё такое...

Здесь же, исходя из слов "Synology" и "файл-помойка" мне скорее представляется офис на пару комнат, десятка два сотрудников и тумбочка с NAS'ом.

Какой-нибудь недорогой медный 10G коммутатор от Zyxel на десяток портов, на мой взгляд, - будет вполне адекватным решением для данной (представляющейся мне) ситуации.
В него воткнуть сервер, NAS и несколько критично-важных компов...

Ибо с оптикой - возни всё-таки поболее (по молодости и варить оптику доводилось и клеить её учили...)
А DAC'и - очень уж сильно по длине ограничивают.

Остальное - оставить в (каком-то) старом коммутаторе.

[Ava256]

Komrus, согласен, все зависит от конкретной ситуации. А по поводу оптики, сейчас варить ее не обязательно, патч-корды хоть длиной 150 метров продаются.В рамках серверной все можно соединить. Вот если куда-то далеко через стену тянуть, тогда будут вопросы

[Алексей Черемисин]

Ну, оптику уже не варю, а покупаю патчи - есть и по 300 метров. Варят другие люди :)
Коммутаторы еще найти можно под медь, но их такое мизерное количество... И карточки - под медь тоже так себе.
Легче найти коммутатор с одним-двумя портами SFP на 10G, и десяток в 1G медью. И этот нормальная ситуация для малого офиса.
Адаптеры тоже легче и дешевле в SFP, чем с RJ-45. Кабели DAC - по цене бутылки виски, как оптические патчи и SFP трансмиттеры (если это не Сиськи Системз).

[Алексей Черемисин]

Как пример - коммутатор Hi-K0802WS Ethernet, этот продукт предоставляет 8 портов 2.5G, 2 10-гигабитных оптических порта SFP+ - 4500 рублев,
Два (или 4 в зависимости от расстояний) трансивера оптических 2700 или DAC по 1500.
Карточки по ~6000.

[Komrus]

Алексей Черемисин,
Коммутаторы еще найти можно под медь
Я для небольших SMB сеток - я на Zyxel обычно поглядываю. У них линейка XS1930 есть. как раз десяток портов медного 10G.

Если не SMB - у Huawei есть вполне себе медные 10G (точнее говоря - 100M/1G/2.5G/5G/10G) модели в линейке S5732.
Extreme Network с давних пор любит медный 10G...
Cisco, которая исторически не любила медный 10G - выпустила линейку Catalyst C1300 и в своей SMB линейке SG3500 несколько моделей...

То есть - выбор есть. Было бы желание строить 10G :)

[DMITRIJS DROBISEVSKIS]

Komrus, IMHO с оптикой работать много проще чем с медью. Оборудование дешевле и что немаловажно - более универсально, т.к. если брать тот же CSS или CRS от MikroTik, то впоследствии для перехода на 28G достаточно будет просто заменить SFP трансиверы. Оптические патчи можно брать готовые оконцованные (они есть любой длины вплоть до 300 метров) или один раз пригласить специалиста, который разварит вам всю сетку.

[DMITRIJS DROBISEVSKIS]

Komrus, Zyxel XS1930-12HP за 1097.95 € или MikroTik CRS309-1G-8S+IN за 250 €. При том, что продукт от MikroTik намного более универсальное решение. Как говорится - почувствуйте разницу.

[Komrus]

DMITRIJS DROBISEVSKIS,

IMHO с оптикой работать много проще чем с медью.

Я аж чаем поперхнулся.. :)))

Уж четверть века СКСки строю. Когда-то давно - и ручками строил, сейчас больше сотрудникам по головам стучу :)

И оптических бэкбонов достаточно в своей жизни раскатал, и СКС с "оптикой до рабочего стола" на несколько сот портов доводилось строить...

Но вот что "оптика - это проще" - ни разу не согласен.

Если пытаться сугубо претерменированные сборки использовать - то нужна трёхмерная BIM модель здания для точного расчёта. Ну или стройзапас будет где-то в количестве сбухтован...

Плюс любовь грандов коммутаторо-строения и СХД-производства к многомодовой оптике.
Вынь да положь им OM5 кабель.

В общем - если пару оптических линков сваять, прокинув по просторным лоткам - тогда да, не проблема.

Если нужно чуть больше - требуется много специфического оборудования, которое приходится арендовать вместе с людьми. Что легко и не принуждённо только в больших городах. И то - не всегда. Для меди - порог вхождения гораздо ниже.
Но в любом случае надо понимать - почему выбирается то либо иное решение.

Answer 3

[ki11j0y]

У меня дома 10гбит сеть, есть nas, почти все диски hdd raid5, и есть raid0 для не важных файлов.. честно сказать ? Через raid 0 даже нет смысла на hdd иметь 10гбит сеть, а вот уже raid на nvme уже имеет смысл. На материнке 2.5гбит и нет полной утилизации канала при работе с рейдом на hdd

Comments

[ki11j0y]

По железу сетевая Aqc107 на сетевых серверов. Intel 2.5 основная мать, и коммутатор tp link sx1008

Answer 4

[Петровский]

https://habr.com/ru/companies/ruvds/articles/864742/

и ещё пара статей там же есть по поиску, в т. ч. про 10

Answer 5

[AKimovd]

У вас скорость копирования 150-200мегабит в сёк.
Проблема не в скорости сети. Где то у вас узкое место или проблема с железом или конфигурации или подключением.
Напишите точную модель nas, сервера, используемые в них жёсткие диски, типы рейда, какие используются дисковые контроллеры, сетевые адаптеры и кабели.
Ну или сами посмотрите, где-то тут узкое место.

Зы: у меня как то было, что умерла батарейка на рейд контроллере, перестал работать кэш и сильно просела производительность.

Зы2: возможно какие то порты свалились в 100мегабит, возможно поможет замена кабеля. Посмотрите на свиче, сервере, nas и промежуточных устройствах, если такие имеются.