Можно ли ускорить архивацию/разархивацию за счет распараллеливания ??

Question

[12rbah]

Насколько я знаю архивация/разархивация часто может упираться в HDD/SSD, поэтому задался вопросом вырастет ли производительность, если в стандартный алгоритм для zip изменить так чтобы архивация/разархивация могли производиться парралельно?

Answer 1

[Adamos]

7z еще лет десять назад начал поддерживать многопроцессорную обработку архивов. Его собственный алгоритм потяжелее zip, но распаковывать zip-ы он тоже умеет.
7z -mmt={количество потоков}

Comments

[12rbah]

А для парралельной обработки zip не знаете средства?

[Adamos]

12rbah, https://www.zlib.net/pigz/

Answer 2

[kalapanga]

У 7-zip есть опция для управления многопоточностью. Можете потестить или даже исходники посмотреть.

Answer 3

[Дмитрий]

Параллельные вычисления ускоряют CPU bound задачи.

Answer 4

[Saboteur]

pigz - многопоточный архиватор для gzip алгоритма.
winrar и 7zip тоже умеют в многопоточность

Answer 5

[Mercury13]

Если использовать стандартную библиотеку сжатия (например, ZLIB), будет проблематично. Нужно как минимум писать своё сжатие с блэкджеком и многопоточностью.
Однако можно распараллелить разархивацию и интерпретацию того, что разархивировалось, и это помогает. Проверено (писал сохранение в простой блочный формат, запаковываемый в ZIP).
Архивация на ZLIB с высшей степенью сжатия упирается не в SSD, а в процессор. Тоже проверено. Для баланса между сжатием и остальной функциональностью установил степень сжатия в четвёрку.