Архиватор win 32 со словарем 2-4 ГБ?

Question

[Den S]

Просто бд по 2000 мб в месяц...за месяц отличаются на 5%..

а 7зип 2019 х86 максимальный словарь=512мб...
а рар5 2019 х86 еще меньше=256мб

банально размера словаря не хватает архиватору (при непрерывном архиве в настройках сжатия)
чтобы понять что 2-30 файлов по 2000 мб отличаются то на 5% всего
хоть 7зип дает зжатие8% от исходного размера
но должно быть еще круче то если файли совпадают то на 95%

Comments

[sim3x]

Используйте gzip -9

Answer 1

[rPman]

Я вам уже ответил ранее.

Вы просто попробуйте пройтись по текстовому sql-дампу diff-ом, результат вас удивит, ни один архиватор так эффективно не ужмет.

Кстати сам по себе diff по sql не очень эффективный, но если воспользоваться специализированным инструментом, заточенным именно на выявление разницы в данных БД, то можно получить еще больший профит (т.е. патч будет равен ровно тем данным, что были изменены).

К сожалению готовые инструменты чаще всего затачивают под конкретную базу данных, и это явно будет не firebird. Посмотрите утилиты от dbForge data compare, возможно оно вам подойдет (правда оно для вашей задачи избыточно), кажется там была возможность подключиться к любой базе.

Совсем правильно, поищите программиста, который вам запилит command line утилиту именно для этой задачи, делов то на неделю кодинга, может меньше.

Comments

[Den S]

теория то понятна но неплохо бы видео мануал или пример хоть на английском как это практически работает...в винде

[rPman]

куда уж проще то?
делаете дамп sql тектовый вчера и сегодня - получаете два файлика 22-08-2019.sql и 23-08-2019.sql
затем пишите в командной строке

diff 22-08-2019.sql 23-08-2019.sql > 22-08-2019_23-08-2019.sql.diff

в результате получите текстовый файл 22-08-2019_23-08-2019.sql.diff который описывает различия старого файла и нового и позволит из старого восстановить новый без потери содержимого

чтобы восстановить, достаточно утилиты patch (обычно diff и patch идут вместе и входят во все возможные дистрибутивы linux, если вам нужны win версии то mingw окружения или cygwin, можете скачать эти две утилиты тут)

patch -o 23-08-2019.sql 22-08-2019.sql 22-08-2019_23-08-2019.sql.diff

Если будете писать скрипты автоматизации, протестируйте вырожденные случаи (например данные не изменились или на вход подали пустой файл, не проверив) и обрабатывайте ошибки
Самое полезное, после получения файла-патча, проверьте, получается ли у вас исходный файл из него, т.е. корректно ли работает восстановление, посчитав например хеш сумму оригинального и исходного файлов.

Все утилиты потоковые, т.е. могут получать используемые файлы из пайпа, т.е. параллельно запущенного приложения, результаты - текстовые и могут быть неплохо упакованы так же потоковыми упаковщиками, тем же gzip (быстрый) или xz (лучше но медленный, там алгоритм как в 7zip - lzma), пример

diff 22-08-2019.sql 23-08-2019.sql | gzip -c9 > 22-08-2019_23-08-2019.sql.diff.gz
gzip -dkc 22-08-2019_23-08-2019.sql.diff.gz | patch -o -c - 23-08-2019.sql 22-08-2019.sql

p.s. вот первая попавшаяся статья про это на английском, если вам актуально

[Den S]

эффективно сжимает бд файрберд 2,5 - архиватор freearc 0.9 х86...словарь в 2гб и все 2бд по 2гб до 180мб сжимает за 40 минут на i3 3ггц..

в двадцать раз
осталось только kgb 1 [86 попробывать за 1-10 часов !!! толко одну бд будет сжимать из двух...

все передаййте всем кто мучает БД чем еффективней сжимать firebird 2.5 (без индексов)

с индексами банально рар 5 - словарь от 500 мб..(на версиях х64 и более словарь)

Answer 2

[d'Ivan]

Zpaq , например.

Comments

[Den S]

эффективно сжимает бд файрберд 2,5 - архиватор freearc 0.9 х86...словарь в 2гб и все 2бд по 2гб до 180мб сжимает за 40 минут на i3 3ггц..

в двадцать раз
осталось только kgb 1 [86 попробывать за 1-10 часов !!! толко одну бд будет сжимать из двух...

все передаййте всем кто мучает БД чем еффективней сжимать firebird 2.5 (без индексов)

с индексами банально рар 5 - словарь от 500 мб..(на версиях х64 и более словарь)

[d'Ivan]

Den S, а zpaq в какой размер сжимает? А freearc умеет инкрементальные снимки делать?