Каким бесплатным ПО бэкапить большие файлы под Windows с дедупликацией?

Question

[Дмитрий]

Есть довольно специфическая задача: нужно бэкапить почтовые базы Thunderbird у пользователей. При этом у части пользователей они достигают десятков гигабайт в размере. Thunderbird хранит почтовые папки в файлах формата mbox, соответственно файлы большие, но редко изменяемые. Есть ли бесплатные решение, позволяющие бэкапить такие файлы так, чтобы при незначительном изменении или дописывании новых данных в конец файла бэкапилась только измененная часть вместо сохранения файла целиком? В принципе сгодится любой вариант, даже полуфабрикат, который можно будет заскриптовать или допилить (автономное приложение, клиент/серверное, утилиты типа rsync/rclone/etc...)

Пока единственное решение, в котором такой функционал указан - Veeam Agent for Windows, но проверка показала, что в бесплатной редакции это не работает. Cobian Backup - измененные файлы копируются полностью, Urbackup - так же.

Comments

[mayton2019]

Хороший вопрос. Подписался на новости.

[Adamos]

Как настроить инкрементное резервное копирование папки linux?

[pfg21]

Adamos, не подойдет, рсинк не умеет выявлять дуплицированные блоки файла

Answer 1

[Drno]

файл будет копироваться целиком, ведь он целиком и перезаписывается виндой...

Comments

[Adamos]

Если бы этот файл был текстовым, а не бинарным - например, git-у бы это не помешало хранить только различия.

[pfg21]

Adamos, неплохая мысль в принципе формат mbox текстовый и использование dif-патчей или git поможет.
но надо пробовать

Answer 2

[CityCat4]

Пора бы уже привыкнуть, что бесплатно таких вещей не бывает.

Answer 3

[pfg21]

один из вариантов решения является смена типа почтовой базы с mbox - все письма лежат в одном большом текстовом файле на тип maildir - каждое письмо лежит в отдельном файле настройка thunderbird.
дифференциальный бекап maildir становится элементарным :)
утилиты дифференциального бекапа mbox не нашел :(

однако минус в большом количестве файлов в папке, ntfs кажись умеет делать B-tree над списком файлов, однако все равно тормозит на папках с гигантским количеством файлов.
ну и сама мозила считает маилдир в громоптице недоделаным :-/

ну и еще вариант бекапить в файловую систему с CoW (btrfs zfs) там есть функция дедупликацией блоков файла. там кажись даже доделали онлайн дедупликацию блоков файла. но не ковырял.