Чем делать резервное копирование 1 ТБ?

Question

[bugzi]

вводные данные. есть сервер (32 RAM/xeon) есть диск почти 1 TB. нужно его хранить постоянно. файлы тяжёлые. autocad/foto/video/MSoffice док-ты. ставил копирование без архива на НАС долго не успевает за выходные. сделал копию раздела на 2 винт в этом же сервере делает быстро, но хранить бекапы на одной машине не хорошо. пытался этот раздел копировать на НАС тоже не успевает. подскажите решение. доступное и адекватное.
сеть 1гигабит.
(очень надо.) в данный момент AOMEI Backupper. Еще юзеры постоянно оставляют открытыми документы.
извиняюсь... windows server 2008r2 64bit

Comments

[Денис _______________]

файлы тяжёлые. autocad/foto/video/MSoffice док-ты.

Большая фрагментация файлов, если ее уменьшить, то на HDD можно получить прирост, например если часть файлов заархивировать rar/zip, или переместить на виртуальный диск (vhd, vhdx файлы), то все эти данные превратятся в один файл, а операции чтения/записи на HDD происходят быстрее если это один крупный файл, а не множество мелких.

второй момент, как писали ниже, это настроить бэкап так что бы добавлялись/переупаковывались только те файлы, которые изменялись, новые файлы.

[Сергей Кузнецов]

1Тб это мало, проблем быть не должно.

Рекомендую попробовать решения от Veeam, но лучше если это будет выделенный сервер. И копий должно быть как минимум две. Одну можно складывать локально, а вторую на внешний диск на NAS.

У меня один из серверов забит на 2Тб и каждый день бэкапится инкрементами. Раз в неделю создается синтетическая полная копия.

Answer 1

[Алексей Черемисин]

Сделайте себе сервер резервного копирования, поставьте на него urbackup https://www.urbackup.org/
И поставьте на сервер клиент под винды.
Бекапиться будут только измененные файлы.

Comments

[Павел]

плюсую за данный вариант, очень удобный бекапер, инкрементальные копии делаются просто за счелчек пальца, настраивать удобно и быстро

Answer 2

[TheBigBear]

Странно. Даже по 1 гигабитной сетевой карте копирование терабайта проходит за 3-4 часа (если копировать не пофайлово)
1.
Поставить ещё 1 сетевую карту и настроить их в Nic Teaming
Что за NAS? По уму в каждом из них 2 сетевых и их также можно объединить в Bond
Что за коммутатор? Если управляемый - также это всё настраивается
Получите 2 Гбитную сеть
А вообще надо начинать с поиска узкого места. Фраза "сеть гигабит" ни о чём.
Пример (недавно проверял). Через один гигабитный коммутатор скорость копирования 60 Мбайт/с
А через другой - 80, через третий - 100
А сервер-сервер напрямую через кросс-овер кабель скорость достигала 120 Мбайт/с
Также был случай - на одном сервере файлы копировались не быстрее 60 Мбайт/с - пока не заменил сетевую карту на поновее
2.
Не совсем понятно как хранятся и юзаются файлы (работа в терминале или расшаренная сетевая папка?)
Возможно ли воткнуть на сервере еще один жесткий диск и включить хранение на нём теневых копий?

Comments

[mayton2019]

Да если копировать россыпь мелких файлов через файловых протоколы типа NFS/CIFS то
можно и неделю просидеть с 1 терабайтом. Протокол избыточноый. Много метаинформации
передает.

Ntbackup как-то быстрее копирует - но кто его знает используют ли щас NTbackup или нет?

В Linux можно tar-ом соединять мелкие файлы в один блоб и как-то вот так повышать эффективность
использования сети для копирований.

Answer 3

[Zerg89]

Zfs snapshot
Btrfs snapshot
Ceph

Answer 4

[aleks-th]

Сервер какой ?

По хорошему на сервере raid в зеркале , чтоб если сдохнет диск работа не остановилась и куда-нибудь в сеть делать бекапы по ночам.

Вам нужно средство которое после первого копирования, которое будет идти долго, потом будет делать только бекап изменений.
Если нужна история чтобы вытащить файл на определенную дату то вам ещё нужно делать снапшоты. Это можно делать как написано выше.

Мы использовали rsync, но есть много других инструментов для бекапа.

Answer 5

[Drno]

Используй rsync или rclone
Он сравнит файлы и перезапишет только измененные

Неплохо было бы указать какие ОС стоят

Comments

[bugzi]

windows server 2008r2 64bit

rsync или rclone

почитаю про них. в целом стоит проблема, как забекапить 1 террабайт.

[Drno]

bugzi, ну там в целом все просто. Обычные консольные утилиты

[bugzi]

почитал,

h__s://habr.com/ru/companies/selectel/articles/305514/

в этой статье крутят к "облакам" в основном. и обьем свыше 20 гиг....
Вопрос больше про большой обьем. есть опыт. как облегчить копирование, или какие то хитрости есть. AOMEI Backupper делает, даже отчет скидывает (разными способами мыло/смс и т.д.) мои танцы.....
пробовал делать 1 копию и все остальное инкрементыми копиями, 5 дней добавки, 6-7 для полной копии. в итоге полная копия перешла на следующую неделю (3 день).
пробовал подцепил доп диск. сделал бекап раздела на другой винт на серваке, потом сделал слив на НАС. тоже самое вышел за 2 дня выходных.
пробовал посадил сервак и нас на 1 отдельный свитч, чтоб пакетами другими не забивался. ноль эффекта.
не хочется держать все в одном месте на серваке копии. (пусть даже разные винты)

[Drno]

bugzi, какая разница какой объем. Он просто скопирует данные максимально быстро, насколько позволяет железо
2й раз уже скопирует только измененные файлы. Их обычно очень маленький процент. И произойдет очень быстро

Что делают ваши бэкапепы я хз, не пробовал.

Какая вообще скорость копирования по сети? В реальном гигабите 1тб копируется очень быстро.
Либо с сетью проблема, либо с дисками(они чем то заняты)

Бэкапепы обычно сжимают данные, архивируют. Тогда еще добавляется время на архивацию, исходя из сжатия и скорости ЦП

[bugzi]

Drno, 1с быстро, но там немного всего 3-4 гиг. база. есть смысл бекапить раздел или лучше "папку "?
как можно проверить копирование? раздел бекапится быстро, но когда его заливаю на нас долго.
да стоит архивация 7-z. попробую убрать архивацию. просто на сколько я понял если копируется раздел, то это быстрее, чем копировать файлы, все по отдельности. если не прав поправьте.

[bugzi]

в нас хранилище стоит 2шт hdd по 6 тер в райде (зеркало)

[bugzi]

какая разница какой объем. Он просто скопирует данные максимально быстро, насколько позволяет железо
2й раз уже скопирует только измененные файлы. Их обычно очень маленький процент. И произойдет очень быстро

попробую его. ближе к выходным

[Drno]

bugzi, гасчет раздела - зависит от софта.
Насчет 1с - если у вас файловая - то надо бэкапииь папку + выгрузку с конфигуратопа
Если на sql - можно делать дамп базы в файл

По идее копирование файлов будет дольше, но зависит от софта, сжатия, железа и других факторов.

[Сергей Кузнецов]

rsync это вообще не бэкап, это просто копирование. И целостность файлов вы не обеспечите им. Даже не тратьте время.

[Drno]

Сергей Кузнецов, а что с ней случится вдруг, с целостностью?)

[Сергей Кузнецов]

Drno, если файл в данный момент открыт на запись, например база данных, то простое копирование не гарантирует что база скопируется корректно. Восстановитесь из такой копии и получите тыкву.

Системы резервного копирования стараются предотвращать такие ситуации.

[bugzi]

Drno, 1c ,бекапится нормуль (1с файловая). проблема с файлами

[quintera]

Сергей Кузнецов, разве не дамп бд бекапят, а не всю субд?

[bugzi]

На серверах где 1с SQL стоит, у меня работает SQLBackupAndFTP
где 1с файловая там бекам только полный. ибо пробовал в dt, народ постоянно работает, или забывает выключить, в общем гемор. в автомате нормально не получается сделать.

[Drno]

bugzi, dt и конфигурацию лучше тоже бэкапить. Народ можно выгонять