Как быстро извлечь большой файл из .zst?

Question

[ermak148]

Скачал значит датасет в архиве типа .zst 8 гигов, открываю в винраре и пытаюсь разархивировать на диск, а программа мне пишет, что осталось 100000 часов. Мне бы уменьшить это время хотя бы в 100000 раз

Comments

[Everything_is_bad]

т.е. родным софтов ты не хочешь даже пробовать?

[ermak148]

Everything_is_bad, Я не разбираюсь в архиваторах, я винраром пользовался всю жизнь

[Saboteur]

ermak148, И винрар у тебя самой последней версии?

Answer 1

[rPman]

.zst это скорее всего Zstandard compress, нормальная поддержка есть у 7z а так же одноименной консольной утилиты zstd. Кстати там же можно выбрать использование многопоточности (но лично я не помню чтобы у меня распаковка упиралась по процессору).

К сожалению в зависимости от настроек упаковки, для распаковки могут быть повышенные требования к оперативной памяти (буквально десятки гигабайт) и если ее не достаточно то получится именно так как у тебя.

Comments

[ermak148]

32 гигабайта не достаточно :((

[rPman]

Маловероятно что у тебя такие требования. многогигабайтовый архив с таким огромным словарем упаковывался бы очень долго.

Удостоверься что у тебя именно памяти не хватает, это видно сразу, при распаковке компьютер начнет тормозить а диспетчер задач покажет нехватку памяти

Answer 2

[Everything_is_not_so_bad]

Какая ОС? В Линуксе есть утилита для распаковки zstd

.zst 8 гигов

надо убедиться, что будет достаточно места для распаковки. Потому что если не хватит, ОС будет ругаться. Очень вероятно, что этот адский архив займет куда больше места, чем рассчитывалось.

Для распаковки требуется до 1 MB ОЗУ.

Answer 3

[pfg21]

скорей всего косяк в алгоритме предположения времени распаковки.
начинаешь распаковывать и время начинает очень быстро падать. а процент распакованного очень быстро расти.
zstd ориентировался на быструю упаковку/распаковку с небольшим потреблением ресурсов.
главное чтобы место под распакованное хватило.

Answer 4

[mayton2019]

Может быть там 100500 мелких файлов и драйвер ФС перегружен транзакциями.
Попробуй поменять destination folder.

У меня был такой эффект когда я распаковывал mercurial репозиторий мозиллы на HDD/ZFS
диск. Был прогноз на много часов. Я поменял локацию на SDD/EXT4. Репо клонировался за 15 минут.

Comments

[ExeLover]

у меня там один большой .jsonl

[mayton2019]

ExeLover, а покажи консольную команду и фрагмент лога.

[ExeLover]

mayton2019, это винрар

[mayton2019]

Зайди с виртуалки Linux или с WSL и используй эту команду

$ zstd --help
*** zstd command line interface 64-bits v1.4.8, by Yann Collet ***
Usage :
      zstd [args] [FILE(s)] [-o file]

FILE    : a filename
          with no FILE, or when FILE is - , read standard input
Arguments :
 -#     : # compression level (1-19, default: 3)
 -d     : decompression
 -D DICT: use DICT as Dictionary for compression or decompression
 -o file: result stored into `file` (only 1 output file)
 -f     : overwrite output without prompting, also (de)compress links
--rm    : remove source file(s) after successful de/compression
 -k     : preserve source file(s) (default)
 -h/-H  : display help/long help and exit