Всем привет! Как правильно сделать 10 гигабитную локальную сеть(в корпоративных целях)?
Имеется NAS Synology на 10ТБ и сервер. На сервере находится файлопомойник(сетевой диск), откуда делается бэкап в NAS. Проблема заключается в том, что в файлопомойнике набралось более 4ТБ различных важных вещей, которые очень долго загружаются в NAS(2.5 дня). Хочу модернизировать сеть так, что бы резервное копирование NAS занимало хотя бы один рабочий день. Как это сделать? Какое оборудование посоветуете(скорость записи/чтения - скорость передачи)?
Учитывая, что скорость у вас не выше 200мегабит выходит, следовательно сеть гигабитная номинально, то узким местом являются накопители либо на nas, либо на сервере; так что оттуда и начинайте.
Возможно, вы копируете данные пофайлово. Попробуйте копировать блочно. Тогда много мелких файлов перестанут быть проблемным фактором.
Там, чисто для сравнения, у меня данных немного - около терабайта. Файловый сервер виртуализирован, данные на vhdx диске. Копирую полностью виртуалку на iscsi том, находящийся на nas, который напрямую подключен к серверу гигабитным линком. Линк утилизируется практически полностью, а не на 1/5. С дисками никаких изысков, обычное зеркало на 5400 хардах (CMR) и на сервере и на nas. Правда, мне в какое-то время над самим этим nas колдовать пришлось, потому что изначально он дохлый был, но это отдельная история.
Не предлагаю ориентироваться на стратегию с iscsi, оно у меня сугубо для дедупликации так сделано, но это не самая безотказная схема; тем не менее блочное копирование = профит
"Имеется NAS Synology на 10ТБ ". Вопрос в производительности этой конфигурации. Вдруг там R5 из 3 дисков по 10tb 7200rpm. Бывает необходимо реализовать схему где данные сначала копируются на быстрые диски (SSD) и только потом, неспешно, переносятся на медленную емкость.
Если нужно делать полные бэкапы и влезать в окно бэкапа, нужно понять где узкое место. Это может быть источник (скорость чтения с сервера, обычно последовательная), получатель (NAS, обычно тоже последовательная запись), сеть.
Вы решили для себя что это сеть, но посмотрите реальную нагрузку за сеть во время бэкапа. NAS может и не покажет, но любой сервер включает в себя средства мониторинга и диспетчер задач вам покажет и нагрузку на сеть и нагрузку на диски.
Кстати, общую пропускную способность сети можно немного поднять если включить на всех этапах следования пакетов (ОС/сетевая карта/коммутатор/сетевая карта/ОС) Jumbo frame. Это позволит снизить накладные расходы и увеличить скорость передачи реальных данных. 3-5% повышение производительности без смены железа.
Кроме перечисленных выше возможно еще одно узкое место, это средство резервного копирования. Если по сети передавать данные в один поток, то, как правило, утилизация сети ниже чем при многопоточной передаче.
просто используйте rsync, он умеет дописывать файлы.. зачем каждый раз целиком то всё копировать...
ну или 2 сетевухи покупайте и патч корд между ними)
ну и второй логичный вопрос - если у Вас hdd там то они такую скорость не выдадут
Делайте инкрементный бэкап (копируйте только измененные файлы). Если 4 Тб - это какие-то офисные файлы, то за рабочий день будет меняться мало файлов. Нет никакого смысла каждый день делать полный бэкап.
На винде это легко делается, т.к. при изменении у файла выставляется аттрибут "архивный". При бэкапе аттрибут можно снимать (автоматически). Такую схему легко реализовать на простых скриптах.
Можно использовать, например robocopy или xcopy. Кстати, думается, что скрипт с xcopy/robocopy будет работать быстрее rsync, т.к. файлов у вас много, а rsync вычисляет хэши на каждый файл. xcopy/robocopy просто смотрят на аттрибут и если он есть - копируют, после копирования - аттрибут снимают с файла.
По тому же принципу можно файлы архивировать. Если мне не изменяет память консольный 7zip умеет анализировать аттрибут архивный. Копировать можно уже готовый архив.
На линуксе у файлов нет архивного аттрибута, но можно использовать дату изменения и копиравать файлы только с текущей датой изменения.
Вы хотите чтобы Васим сеть спроектировали?
Ответ на ваш вопрос зависит от многих параметров.Простой ответ, это вам нужен коммутатор с портами 10gb, сетевые карты с портами 10gb в сервере и Synology и провода между ними, скорее всего оптика или DAC-кабели, в зависимости от расстояния между устройствами. Теоретически можно подключить сервер к Synology и на прямую.Порты 10GBASE-T ( Rj45 ) не советую.
Komrus, у медного задержки большие, что может быть критично особенно для подключения к СХД, низкая помехозащищищенность и sfp+ больше распространено.это важно если инфраструктура будет развиваться
У меня дома 10гбит сеть, есть nas, почти все диски hdd raid5, и есть raid0 для не важных файлов.. честно сказать ? Через raid 0 даже нет смысла на hdd иметь 10гбит сеть, а вот уже raid на nvme уже имеет смысл. На материнке 2.5гбит и нет полной утилизации канала при работе с рейдом на hdd
Простой
Средний
Средний
