Столкнулся с проблемой. Как и чем сжать 15 миллионов файлов по 10-100 килобайт?

Question

[chelkaz]

Делаю на MacOS, пробовал в тар:
tar -cvpfz
Но через час получил - tar: Error exit delayed from previous errors.
Мне нужно их упаковать в один архив что бы положить на облачный диск, например Google Drive.

Comments

[Ульрих]

7z ?

[Saboteur]

Места на диске хватает?

Answer 1

[jcmvbkbc]

Но через час получил - tar: Error exit delayed from previous errors.

Убери бесполезную v и запусти снова -- получишь список тех самых previous errors. О них и поговорим дальше.

Comments

[chelkaz]

tar -cpfz /my-path/15-000000.tar.gz /my-path/15000000

Получил через час сново: tar: Error exit delayed from previous errors.
И после самого запуска получаю это:

tar: /my-path/15-000000.tar.gz: Cannot stat: No such file or directory
tar: Removing leading '/' from member names

/my-path/15000000 Существует, это папка где хранятся файлы которые сжимаю.

[Aves]

chelkaz: он пытается упаковать /my-path/15-000000.tar.gz в файл z и говорит, что не может его найти. Надо

tar -cpzf /my-path/15-000000.tar.gz /my-path/15000000

[chelkaz]

Aves: Сделал как вы написали, первое пропало, осталось:
tar: Removing leading '/' from member names
О чем это говорит?
И почему после часа: tar: Error exit delayed from previous errors. ?
Может есть надежный способ упаковать 15 миллионов файлов? Хотя бы без сжатия...

[Aves]

chelkaz: это говорит о том, что tar удаляет начальные слэши. Если их нужно оставить, есть ключ

-P, --absolute-names       не удалять начальные «/» из
                           имён файлов

[jcmvbkbc]

tar: /my-path/15-000000.tar.gz: Cannot stat: No such file or directory
tar: Removing leading '/' from member names

Можно смело игнорировать. С архивом (который z) всё ок.

Answer 2

[Виктор Таран]

`--ignore-failed-read'

Comments

[Виктор Таран]

скорее всего у вас гдето в файлах приосходит ошибка четния прав доступа и тд.
добпишите игнорировать ошибки и запустите заново.
Как правило при большом количестве файлов проблеым начинаются с большим количеством аргументов, но тут я не вижу этого
Как вариант избавьтесь везде от *
поскольку для подстановки аргументов с регуляркой приходится собрать все эти аргументы. Если же * не будет то и соответственно собирать их все за раз нет необходимости
Например читать find в этой папке и exec выполнять команду
в таком случае аргументы будут подставляться построчно
а файнд не использовал *
НО еще раз это у вас не от количества.

Answer 3

[Армянское Радио]

1 Забить нулями свободное место.
2 отмонтировать
3 сжать образ диска в 7z