Как запаковать несколько идентичных файлов в архив, чтобы они весили меньше чем 1 файл?

Question

[Drovosek01]

Есть папка с 6 идентичными файлами:

FLEngine_x64.dll
FLEngine_x64_Copy1.dll
FLEngine_x64_Copy2.dll
FLEngine_x64_Copy3.dll
FLEngine_x64_Copy4.dll
FLEngine_x64_Copy5.dll

У них одинаковых хэш md5. То есть это один и тот же файл, просто с разными именами.

1 dll файл имеет вес 56,0 МБ (58 773 224 байт)

При упаковке папки с этими файлами с помощью 7-zip 24.08 с такими настройками

spoiler

Получается .7z архив размером ~247 МБ
https://mega.nz/file/fToEgJpY#9WaVLFoTs3XSWuABc-f1...

ПОЧЕМУ???
По сути это же 1 файл с разными именами и логично было бы, чтобы в архиве манипуляции (сжатие) производилось над 1 файлом, а остальные идентичные файлы никак не прибавляли размер архива, потому что при распаковке архиватор может же извлечь только 1 файл, потом продублировать его и изменить имена на соответствующие.
Логично было бы, если бы такой архив весил не более, чем размер 1 из всех идентичных файлов, то есть не более 56 МБ, но архив весит 247 МБ.

Вопрос:
Как и каким архиватором можно запаковать папку с идентичными файлами, чтобы архив весил не более размера 1 файла?

Comments

[Ziptar]

Не занимаются архиваторы дедупликацией на файловом уровне. Они, как правило, разбивают непрерывный поток данных на слова и составляют словари. И размер слов ограничен, и словарь место занимает.
А для твоей задачи можешь запаковать 7-zipом тем же самым в wim. Вот там дедупликация имеется. Только это не архив.

[Drovosek01]

Ziptar, это хреново.
Вроде дедупликация очевидная и легкая вещь, если сравнить CRC32 всех файлов... а архиваторы CRC32 вроде и так вычисляют для всех

[Вадим]

Размер словаря в любом архиваторе нужно выставлять не менее, чем общий объём пакуемых файлов. Со словарём 384 Мб 7-Zip почти догоняет WinRar с дедупликацией ссылками, у меня 44,5 Мб вышло.

[Drovosek01]

Вадим, может быть и так, но все равно 7-zip обрабатывает все идентичные файлы, а не 1 файл. Это намного медленнее чем в Winrar с опцией "Save identical files as references"

[Ziptar]

Drovosek01, архивация и дедупликация это разные задачи просто; алгоритмы сжатия никогда не подразумевали запаковку одинаковых файлов

[Вадим]

Drovosek01, но когда в наборе нет повторяющихся файлов, а это чвще встречается, то 7-Zip чаще выигрывает по степени сжатия. Но WinRar и в таком случае быстрее.

Answer 1

[Drovosek01]

При архивации в .rar через последний Winrar 7 - ситуация повторилась.

Написал в поддержку разработчикам Winrar на email (есть на официальном сайте) - они довольно оперативно ответили.
Есть 2 варианта решить проблему дедупликации файлов в архивах с помощью Winrar:

Вариант 1

При создании архива на вкладке "Options" отметить пункт "Save identical files as references"



Вариант 2

При создании архива в Winrar - необходимо в нем выбрать пункт
"Create solid archive"
а также размер словаря (Dictionary size) выставить больше, чем размер файла.
При этом размер словаря должен быть кратным 2 в степени n, то есть если файл размером 56 МБ - если вы выставите размер словаря 60 МБ, то дедупликация не сработает, необходимо выставить 64 МБ.

Answer 2

[d'Ivan]

Архиваторы типа ZPAQ учитывают дубликаты.

Comments

[Drovosek01]

Да, похоже там есть дедупликация, но хотелось бы более популярное решение с возможность управления через GUI

P.S.
Оказывается в Bandizip можно создавать, смотреть и распаковывать .zpaq архивы

Answer 3

[rPman]

Используй формат архива wim (поддерживается 7z) он учитывает дубликацию файлов (никогда не пользовался, но пишут что да).

Если речь идет о просто одинаковых кусках данных (файлы например отличаются только частью или содержат общие данные) то в пределах размера словаря (точнее там есть понятие окно или блока сжатия) можно включить solid mode (раньше была опция в интерфейсе, теперь только в командной строке -ms=on (почитай документацию там много вариантов), но это сработает только для файлов, которые попадут в оперативную память, достаточную для распаковки (там это сложно посчитать по параметрам, даже есть опция - какой процент памяти использовать).

При распаковки solid архива будет считываться и распаковываться весь архив (до тех пор пока не достигнет места хранения требуемого файла), когда как из обычного архива файл извлекается сразу вне зависимости от размера всего архива

Comments

[Ziptar]

wim это не архив, это образ, и работает он на файловом уровне; собственно, я так понимаю, ради дедупликации он таким и делался, чтобы упихивать целый набор редакций винды в один образ, не испытывая никаких проблем по перелинковке одних и тех же файлов

[Drovosek01]

Я попробовал в командной строке вот так выполнить:

C:\Program Files\7-Zip>7z a -t7z -m0=lzma -mx=5 -mfb=128 -md=32m -ms=on "D:\test\myarchive.7z" "D:\test\test files"

В папке "test files" находились файлы из архива из основного поста.

В итоге все равно архив получился примерно 250 МБ.

Что я сделал не так? :(

[rPman]

Drovosek01, скорее всего размер словаря (ключ -md) недостаточен для таких 'больших' файлов, подбери экспериментами его побольше, потому что я взял файл поменьше 3160кб (другой архив, т.е. сжать его уже не получится), скопировал его 5 раз и с твоими ключами у меня получился архив размером 3206кб

Answer 4

[mayton2019]

Обычные архиваторы скорее всего не делают дедубликации.

Но предварительно можно сделать такое

FLEngine_x64.dll
FLEngine_x64_Copy1.dll => symlink FLEngine_x64.dll
FLEngine_x64_Copy2.dll => symlink FLEngine_x64.dll
FLEngine_x64_Copy3.dll => symlink FLEngine_x64.dll
FLEngine_x64_Copy4.dll => symlink FLEngine_x64.dll
FLEngine_x64_Copy5.dll => symlink FLEngine_x64.dll

и попробовать zip/tar. Они вроде умеют симлинки оптимально хранить.

Comments

[Ziptar]

и попробовать zip/tar.

Ой.

[mayton2019]

Ой