Эффективное сжатие БД firebierd?

Question

[Den S]

Всем привет.
есть БД firebierd 2...2,5 ,,,
20 файлов 800-2000 мб.
в основном ежемесячные копии бд... отличаются друг от друга 1-50 мб
в основном файл на 60-90% совпадают в пределах года тем более..

как сжимать не сам файл (который хорошо сжимается rar+7zip до 70-150мб)
а сравнить по содержимому и разницу учесть... 60-90% бд дублирующиеся данных...
это фио людей и адреса и прочие их данные...редко меняются...

а то обычными архиваторами эффективно сжимать 1-2 файла сразу... а 10-20 по 800-2000 мб
сразу сжать непрерывным архивом со словарем 3гб особо не получится т.к. предел озу=4гб

может есть софт который сравнивает огромные файлы по 800-2000 мб десятками сразу
и разницу содержимого в 10-20% выявляет и уже архив делает именно этой разницы?

или это слишком космические технологии?
и нужно наращивать озу до 16 гб и запускать 7zip x64 со словарем 8гб?

Comments

[Saboteur]

Не силен в firebird, но нельзя какие-то статические таблицы вынести в отдельный datafile, и тогда в бэкап можно отправлять только то, что меняется?

[Den S]

просто 7zip-2019 х86 ppmd словарь только 512 мб (у рар 2019 х86 вообще максимальный словарь 256 мь )
а бд = 2000мб... т.е. если словарь будет хоть 1 гб то сжать две бд по 2000мб с разницей днных в 5% за месяц будет эффективнее...

чем 8% сжатие без учета что 2 файла почти идентичны на 95%

наверно нужен архиватор windows xp х86 со словарем 2-4 гб

Answer 1

[rPman]

Попробуйте bzdiff или лучше по эффективнее по памяти vbindiff (или обычный diff для текстовых)

upd. оригинальная утилита сильно потребляет оперативную память, нужно искать версии не такие требовательные

Можно хранить первоначальную версию и потом серию последовательных патчей, недостаток - для восстановления последней версии потребуется последовательное принятие всех патчей, очень длительная операция (фактически при каждом применения патча копируется весь файл)

Когда то давно я на основе этого делал резервное копирование, а чтобы не пришлось через год сотни патчей применять, храню только последние N патчей, старательно подготавливая N+1 версию (применяя старый патч и сохраняя результат, удаляя старую версию)