Как быстро запаковать маленькие файлы?

Question

[fokin_nikolay1989]

Доброго вечера.
Помогите разобраться с ситуацией:
Есть каталог в котором есть огромное количество маленького размера файлов.
Как можно запаковать как можно быстрее эти файлы?
С тем расчётом, что файлы скопившиеся за год архивируются в tar.gz за 3е суток

Comments

[Lynn «Кофеман»]

Так и в чём проблема?
Что тормозит?

[Lynn «Кофеман»]

Покажите например что вы делаете

[Radjah]

"Много мелких файлов" и "быстро" - это несовместимые понятия. При работе с ними будет дикая просадка по IO.

[xotkot]

попробуйте dwarfs для этого применить

Answer 1

[Алексей]

Если производительность архивации упирается в процессор, то рекомендую архиватор pigz, он умеет использовать все ядра процессора.

Answer 2

[pfg21]

7zip rar и сжатие и многопоточность.

Answer 3

[d'Ivan]

Если важна скорость, то нужно выбирать режим быстрого сжатия конкретного алгоритма или же изначально выбирать быстрые алгоритмы сжатия, такие как LZ4, LZOP, ZSTD. В последнем степень сжатия высока относительно алгоритмов такого класса.
А в какой контейнер упаковывать, TAR (предпочтительнее), ZIP (если без сжатия) - не столь важно.
То есть я предложил бы TAR + LZ4, если требуется самая высокая скорость записи на накопитель и комбинацию TAR + ZSTD если нужно добиться степени сжатия, близкой к GZIP.
Альтернативно, вместо классических архиваторов можно использовать программы дедупликации, такие как bup, zpaq, BackupPC. Они позволят сохранять лишь изменения в файлах, не дублируя информацию при каждом слепке информации.