Как бэкапить данные на удаленный сервер?

Question

[SZ]

Всем привет, очередной 1001 вопрос про бэкап данных.

Условия:
1) есть пара папок размером +/- 50 ГБ и кол-во файлов 150К
2) за день изменяется и добавляется новых около 500 файлов
3) бэкап надо делать ежедневно и хранить его удаленно

Сейчас это реализовано с помощью 7z и параметром u (инкрементальный архив), но гонять каждый раз ночью 50 ГБ не вариант, канал 100-ка, да и другим занят… Все дело крутится под виндой
Какие идеи?

Answer 1

[laxikodeje]

SyncThing
https://habrahabr.ru/post/225655/
Гибрид обычной синхронизации файлов и торрент-технологий.
Как раз хорошо умеет работать с большими файлами.

Answer 2

[АртемЪ]

Сейчас это реализовано с помощью 7z и параметром u (инкрементальный архив), но гонять каждый раз ночью 50 ГБ не вариант

Поменяйте 7z на zpaq и все дела.
Особенно обратите внимание на ключик -index indexfile
Да и в случае использования 7z я не понимаю зачем гонять каждый раз 50Гб если можно инкрементные архивы делать, и гонять по сети архив с вашими измененными 500файлами.

Answer 3

[Константин Цветков]

Поскольку можно установить атрибут файла "сжатый", то использование архиватора необязательно. Осталось только скопировать новые и обновлённые файлы (удалённый тоже будут удалены из архива):

@robocopy H:\ M:\ /MIR /w:0 /r:1 /NP /NDL /LOG:C:\Temp\backup.log

-------------------------------------------------------------------------------
   ROBOCOPY     ::     Robust File Copy for Windows
-------------------------------------------------------------------------------

              Применение :: ROBOCOPY источник назначение [файл [файл]...] 
                            [Параметры]

                 Источник:: Исходная папка (диск:\путь или
                            \\сервер\общий ресурс\путь).
              Назначение :: Конечная папка (диск:\путь или 
                            \\сервер\общий ресурс\путь).
                    Файл :: Копировать файлы   (имена и подстановочные знаки:
                            по умолчанию "*.*").

Answer 4

[aynur_safin]

Duplicati 2.0
https://www.duplicati.com/download
на любое облако или FTP, SSH, WebDAV
шифрование, планировщик, инкрементальные бекапы, VSS, удаленное веб-управление, отчеты на емейл
... да все там есть и бесплатный )

Answer 5

[Sanes]

У вас каждый день набирается 50ГБ? Вроде меньше должно быть, раз архив инкрементальный.

Comments

[Константин Цветков]

Путает дополнительный архив с обновляемым (u : Update files to archive).

[Sanes]

Константин Цветков: Может rsync подойдет?

[Константин Цветков]

Sanes: Поскольку WINDOWS, то ROBOCOPY достаточно.

[SZ]

Нет, 50ГБ это всего, просто уже полный архив лежит на удаленном сервере, и при сверки какие файлы уже есть/нет гоняет туда сюда трафик (видно по загрузке канала).

[Sanes]

SZ: Логичней проверять локально и отправлять только архив.

Answer 6

[Вадим]

Платная программа ACRONIS TRUE IMAGE,
бесплатная FBACKUP
Посмотрите в эту сторону