Каким бесплатным ПО бэкапить большие файлы под Windows с дедупликацией?

Question

[Дмитрий]

Есть довольно специфическая задача: нужно бэкапить почтовые базы Thunderbird у пользователей. При этом у части пользователей они достигают десятков гигабайт в размере. Thunderbird хранит почтовые папки в файлах формата mbox, соответственно файлы большие, но редко изменяемые. Есть ли бесплатные решение, позволяющие бэкапить такие файлы так, чтобы при незначительном изменении или дописывании новых данных в конец файла бэкапилась только измененная часть вместо сохранения файла целиком? В принципе сгодится любой вариант, даже полуфабрикат, который можно будет заскриптовать или допилить (автономное приложение, клиент/серверное, утилиты типа rsync/rclone/etc...)

Пока единственное решение, в котором такой функционал указан - Veeam Agent for Windows, но проверка показала, что в бесплатной редакции это не работает. Cobian Backup - измененные файлы копируются полностью, Urbackup - так же.

Comments

[mayton2019]

Хороший вопрос. Подписался на новости.

[Adamos]

Как настроить инкрементное резервное копирование папки linux?

[pfg21]

Adamos, не подойдет, рсинк не умеет выявлять дуплицированные блоки файла

Answer 1

[Дмитрий]

Похоже, бесплатное решение с нужным функционалом все-таки есть - Duplicati
Сайт - https://duplicati.com/ или https://github.com/duplicati/duplicati
Есть и сервер для централизованных бэкапов (платный), а клиент может работать и автономно, бэкапить файлы по расписанию на почти любые локальные, сетевые и объектные хранилища, и в том числе умеет делать инкрементальные копии больших файлов. При этом удаленное управление клиентом так же возможно через, веб-интерфейс.

Answer 2

[pfg21]

один из вариантов решения является смена типа почтовой базы с mbox - все письма лежат в одном большом текстовом файле на тип maildir - каждое письмо лежит в отдельном файле настройка thunderbird.
дифференциальный бекап maildir становится элементарным :)
утилиты дифференциального бекапа mbox не нашел :(

однако минус в большом количестве файлов в папке, ntfs кажись умеет делать B-tree над списком файлов, однако все равно тормозит на папках с гигантским количеством файлов.
ну и сама мозила считает маилдир в громоптице недоделаным :-/

ну и еще вариант бекапить в файловую систему с CoW (btrfs zfs) там есть функция дедупликацией блоков файла. там кажись даже доделали онлайн дедупликацию блоков файла. но не ковырял.

Comments

[rPman]

btrfs и zfs позволяют создавать файл разницы между двумя снапшотами (в нем будут сохранены только изменившиеся кластеры файловой системы), это работает на уровне блоков, максимально эффективно, вне зависимости от размера и количества файлов, ничего не пересканируется, это фича cow файловых систем, никаких накладных расходов на снапшоты и бакапы.

[pfg21]

rPman, да, тож вариант :) Но у тс условие - венда :)
А в винде только костыль vss...

Кстати вспомнился проект winbtrfs, но не ковырял.

[Adamos]

pfg21, у ТС в условиях - с винды.
Бэкап-серверу совершенно необязательно (имхо, даже нежелательно) быть виндовским.

[pfg21]

Adamos, если сервер бекапа не под виндой, то это вариант я уже описал в ответе, последний абзац :)

[Adamos]

pfg21, а rPman - в том ответе, на который я сразу дал ссылку в комментариях.

[pfg21]

Adamos, по ссылка rPman описывает ситуацию про диф.бэкап кучи файлов. это достаточно просто и рсинк это обрабатывает.

а тут тема про диф.бэкап больших файлов, меняющихся чуть-чуть. это "совсем другое" :) рсинк не сработает никак

[Adamos]

pfg21, там тоже последним абзацем про btrfs.

[pfg21]

Adamos, я имею небольшой опыт btrfs send/receive :) но здесь он не подойдет, ибо винда.

интересно в VSS впихнули функциональность (инкрементального в том числе) send/receive ??

[Adamos]

pfg21, вообще сложно оценивать эту затею, поскольку малопонятен ее смысл.
Если почта через IMAP, его без толку бэкапить на клиенте.
А если на POP3, то доколе?.. %)

[pfg21]

Adamos, всё можно сделать десятком способов, коль знаешь...
у %тс% возникла мысль бекапить почтовые базы на клиентах. самое главное это наглядно. вот клиент, а вот его базы.

[Adamos]

pfg21, вот их вернули из бэкапа,
вот он запустил ТВ,
вот все, что было удалено на сервере, тут же удаляется из свежевосстановленного ;)

[Дмитрий]

Maildir в Thunderbird я пробовал и это в принципе работоспособно, но косяки пока есть и выглядит как прикрученный на скорую руку костыль. Конвертация mbox -> maildir происходит с весьма негарантированным успехом.
Жаль, что разработчики почтового клиента заняты преимущественно переделками интерфейса вслед за модой, а фундаментальные проблемы игнорируют. Тикету о замене msf-файлов на что-то вменяемое уже 26 лет - https://bugzilla.mozilla.org/show_bug.cgi?id=11050

[pfg21]

Adamos, сообщения, удаленные на сервере, громоптица в локальной базе не удаляет. ты с каким-то другим протоколом путаешь :)

[pfg21]

Дмитрий, и никому из опенсорц разрабов это тоже не нужно :)

[Adamos]

pfg21, а мы за какой протокол, собственно? По IMAP, как я понимаю, все-таки должна случиться синхронизация. А по РОР3 давно пора поминки заказывать.

[Дмитрий]

Adamos, IMAP конечно стал бы решением всех проблем, кроме необходимости бэкапить сам почтовый сервер со всеми хранящимися сообщениями. Но исторически имеем, что у большинства пользователей почта настроена на POP3, в основном для экономии места на почтовом сервере, и локальные почтовые базы в гигабайты и даже десятки гигабайт - в порядке вещей...

[pfg21]

Adamos, у меня поп3 :) работает, стабильно, многие десятки лет.... "- не трогай"
и отлично работает.
а вот синхронизация иногда прямо противопоказана, к примеру почта info@ на которую подписано с десяток человек.

[Adamos]

pfg21, моя рабочая почта установлена у меня на работе, дома и на смарте.
С РОР3 так работать просто нереально.

[pfg21]

Adamos, как вариант :)

Answer 3

[rPman]

странно, в документации к rsync написно что delta-algorithm работает по умолчанию, можно задать размер блока

--block-size=SIZE, -B
This forces the block size used in rsync's delta-transfer algorithm to a fixed value. It is normally selected based on the size of each file being updated. See the technical report for details.

Beginning in 3.2.3 the SIZE can be specified with a suffix as detailed in the --max-size option. Older versions only accepted a byte count.

включить/выключить опциями:

--whole-file, -W
This option disables rsync's delta-transfer algorithm, which causes all transferred files to be sent whole. The transfer may be faster if this option is used when the bandwidth between the source and destination machines is higher than the bandwidth to disk (especially when the "disk" is actually a networked filesystem). This is the default when both the source and destination are specified as local paths, but only if no batch-writing option is in effect.

--no-whole-file, --no-W
Disable whole-file updating when it is enabled by default for a local transfer. This usually slows rsync down, but it can be useful if you are trying to minimize the writes to the destination file (if combined with --inplace) or for testing the checksum-based update algorithm.

Answer 4

[Сергей Сахаров]

Не совсем ясна задача. Ты хочешь сказать, что у вас в сети почтовые клиенты используют протокол POP3?
Используй IMAP - и все письма пользователей будут храниться на сервере.
И тебе не придётся их бекапить с локальных АРМ пользователей.

Или вы используете сторонние почтовые сервера типа майлру яндекс, гмейл и тому подобное?
Так пусть тогда они за письма пользователей и отвечают, это не зона ответственности сисадмина.
Вопрос скорее не технический, а организационный.

А так - для бекапов файлов пользователей можно использовать bacula

Comments

[Дмитрий]

Почтовый сервер собственный, и перевести всех на IMAP затруднительно, т.к. у многих пользователей накоплены огромные почтовые базы, с развесистыми правилами локальной сортировки почты. Почтовому серверу потребуются наверное за терабайт дискового пространства, чтобы все это хранить, и опять же встанет вопрос, как потом его бэкапить за разумное время. Отчасти такова специфика компании, в которой почта до сих пор является одним из важных каналов поступления информации, отчасти тяжёлое наследие прошлого.

[Сергей Сахаров]

Дмитрий, затруднительно, но возможно.
Терабайт сегодня - не тот объём, чтобы напрягаться по этому поводу.
А правила поддерживает MS Exchange - у нас на работе именно он.
Но в целом согласен с тем, что процедура предстоит долгая и муторная.

А правила у нас простые:
Простые смертные - ящики по полгига по умолчанию, при запросе можно сделать гиг.
Начальники отделов - до двух гигов, начальники управлений - до пяти гигов.
Причём, архивация старых писем - обязанность пользователей.

У вас, я так понимаю, ничем не ограничено.

Answer 5

[RStarun]

На самом деле можно решить проблему другим путем. Если нам важно именно сокращение размера хранилки, а нагрузка на сеть нас не волнует, то дедупликацию можно делать уже на сервере где хранятся резервные копии. В большинстве случаев удастся не только дедуплицировать данные с одного клиента, но и между клиентами наверняка будет много общих паттернов в данных. Хранилок которые это умеют делать достаточно. Из кустарных это какой-нибудь ZFS. Есть и много платных СХД с оффлайн дедупом. Важно на вход им подавать не сжатые данные. То есть любой системой резервного копирования (хоть бакулой, хоть батником) забираем данные с клиентов, полностью копируем на СХД в распакованном виде (в момент передачи можно сжимать), а дальше пусть сервер разбирается.

Насчет платной/бесплатной - кого сейчас вообще волнует платность и честные взаимоотношения с veeam? Если очень хочется купить что-то, то возможно у киберпротекта есть такой же функционал.

Answer 6

[Drno]

файл будет копироваться целиком, ведь он целиком и перезаписывается виндой...

Comments

[Adamos]

Если бы этот файл был текстовым, а не бинарным - например, git-у бы это не помешало хранить только различия.

[pfg21]

Adamos, неплохая мысль в принципе формат mbox текстовый и использование dif-патчей или git поможет.
но надо пробовать

Answer 7

[CityCat4]

Пора бы уже привыкнуть, что бесплатно таких вещей не бывает.

Answer 8

[Антон Эммануйлов]

Вы Сисадмин, тех поддержка , или бухгалтер ?
Пиши скрипт в CMD или ps с относительными путями , кидай в политики , прикручивай сжатие 7zip.

Всё

Comments

[pfg21]

проблема тс в дифф.бекапе больших файлов почтовой базы :)
пауершелл тут вообще ни при чом.

[mayton2019]

Он хочет аналог incremental block copy как в Oracle RMAN.

Копировать не весь архив а только те части которые изменились.

Идея хорошоя. Надо попробоват rsync for Windows. Справится ли он с такой
тонкой задачей?

[Антон Эммануйлов]

а почему бы не делать полную копию с удалением предыдущей ?
по мне - очень хороший, простой вариант

[Дмитрий]

Нужно хранить несколько бэкапов за определенный период. Если бы достаточно было только одного, то вопрос бы не имел смысла.

[Антон Эммануйлов]

Дмитрий, Первоначальный вопрос - вы Бухгалтер или Сисадмин ?

Всё что нужно пишется в пару строк в ps или cmd.

Полный backup с 7zip . Последующее удаление Архива старше X дней.

[Дмитрий]

Антон Эммануйлов, вот всеми этими наколеночными решениями и вымощен путь в IT-Hell... Но если считаете, что все так просто: сделайте батник в две строки, который хотя бы просто будет копировать файлы по списку папок с предварительным созданием VSS-снапшота, и уведомлением администратора и корректной очисткой, если что-то пошло не так.

[Антон Эммануйлов]

Дмитрий, понятно.
Значит задача не выполнить , а прилюдно пострадать. Прилюдно пострадать, пока , в итоге , кто-то не даст готовое решение устраивающее тс. Сразу адреса напиши , откуда брать и куда складывать .

[Дмитрий]

Я уже нашел удовлетворяющее требованиями решение, благодаря другим участникам обсуждения, отвечавшим конструктивно и по существу.

[osada]

Дмитрий, А как альтернативный вариант тут может выступать старый проверенный robocopy?

Answer 9

[Andrey Lutsenko]

"Пока единственное решение, в котором такой функционал указан - Veeam Agent for Windows, но проверка показала, что в бесплатной редакции это не работает"
Есть и бесплатный вариант, где всё это работает.