Чем организовать синхронизацию резервных копий через интернет?

Question

[comper]

Добрый день!
Есть общая папка под MS Windows с архивами. ПО для резервного копирования Veeam VEB. Каждый день делается резервная копия, создается диф. архив и синтетический полный архив.
Пытаюсь эту общую папку синхронизировать с другим ПК через интернет. Пробовал btsync и syncthing. Оба каждый раз полностью копируют полный архив. Архив большой, каждый день копировать нет возможности.
Синтетический полный архив получается из предыдущего полного путем мержа с дифом и переименовыватся.

Хотя в факе Syncthing написано:
"Syncthing handles renaming files and updating their metadata in an efficient manner. This means that renaming a large file will not cause a retransmission of that file. Additionally, appending data to existing large files should be handled efficiently as well."
Но в моем случае не работает.

Посоветуйте софт или как еще организовать?

Comments

[Алексей]

Я уже написал что я противник именно синхронизации, делайте копию бэкапа после его выполнения отдельно скриптом (должно поддерживаться в ПО, выполнить по завершении).

[tartarelin]

ээээ, а зачем нужна эта синхронизация? чтобы если по какой то причине будет утерян архив в общей папке, он также потерялся на удалённом ПК?

[comper]

каким скриптом копировать? у меня архив около 1 ТБ. Смысл в том чтоб не копировать постоянно полный архив целиком. Syncthing позволяет при изменении файла копировать только изменения. Но он (полный архив) переименовывается еще. И Syncthing его копирует полностью.

[comper]

tartarelin: какая альтернатива?

[tartarelin]

comper: честно говоря я не въезжаю в схему вашего резервного копирования, но я твёрдо уверен, что синхронизация это очень плохая стратегия.
зловред например вам шифрует бэкап в общей папке, ночью зашифрованный бэкап синхронизируется с удалённым ПК и спрашивается какой смысл был городить огород, если бэкап в результате всё равно оказывается потерян?

[Алексей Тунёв]

Как вариант - остаться на прежнем решении, но перед синхронизацией скриптом переименовывать файл. Тогда будет синхронизироваться только дельта. А потом на обеих сторонах можно делать всё что угодно с файлами.

[comper]

Алексей Тунёв: в теории так и надо, но сложно получается. Надо после архивации переименовать, потом синхронизировать, потом обратно переименовать. Нужно все отслеживать четко.

[comper]

tartarelin: синхронизация на удаленный ПК на случай если физически пропадет основное хранилище.

[Алексей Тунёв]

comper: Я уже который год не могу найти решение синхронизации резервного копирования на удалённый хост по медленным каналам связи. Помнится, раньше был продукт у MS из серии Forefront, у него была отличная функция - перекидывать на удалённое хранилище только дельты данных. Но MS закрыли весь этот проект.
А мне уже достаточно вашего решения, попробую немного допилить и реализовать у себя :)

Answer 1

[Алексей]

Сделать отдельную политику в Veeam для копирования на второй ресурс (даже уже готовой копии), я не фанат синхронизации резервных копий. Хранить удаленно только полный и дифференциальный бэкап. Средствами системы для копирования очень выручает robocopy.

Comments

[comper]

У меня бесплатный Endpoint Backup. Там нет политик и тд.

Answer 2

[athacker]

Оно и не будет работать, так как Veeam перелопачивает архив, а не добавляет ему блоки в конец. Это аналог того, что у вас есть большой документ, и где-то в его середине были изменены данные. Для того, чтобы не копировать всё, софтина должна просматривать весь файл и копировать только изменившиеся блоки. Теоретически, такое умеет делать rsync.

Я вас правильно понял, что вы synthetic full ежедневно делаете?

Comments

[comper]

да, правильно. Syncthing так и делает. Он берет файл бьет на блоки и измененные блоки копирует. Если бы файл не переименовывался, то наверное все было бы хорошо. Хотя переименование файлов Syncthing тоже понимает. Но не в моем случае.

[A]

comper: не юзал Veeam.
Судя по тому (вы пишете): Синтетический полный архив получается из предыдущего полного путем мержа с дифом и переименовыватся. То уделите внимание тому, что б новый файл по названию совпал со старым (возможно сделать автопереименование или заставить Veeam вернуться к старому названию файла). Мысль такая, что в этом случае Syncthing поймет все как задумано, найдет лишь дифф и будет синхрить именно только диф.
Если с именем архива получится, но Syncthing все одно будет тянуть большой объем данных, то возможно архив-файл имеет диффы во многих местах помаленьку (а не одним диф. куском) и Syncthing начинает синхрить все эти блоки.