Чем заархивировать файлы с определенными условиям на UBUNTU?

Question

[MasterCopipaster]

Всем доброе время суток, подскажите пожалуйста у меня встала такая задача:
Мне нужно за архивировать большой объем файлов на Ubuntu > 100GB но у меня есть условия для архива.

1. Архив должен быть разбит на тома по 25GB
   
2. Идентичные файлы должны быть добавлены как ссылки (не обязательно но желательно)
   
3. Архив должен содержать 9% информации от исходного размера для восстановление на случай повреждения.
   
4. Архив должен быть защищен паролем.
   

Вообще все эти задачи прекрасно решаются с помощью WinRar5 но беда в том что из под wine он работает не корректно (просто вылетает) есть ли линуксовые архиваторы которые решают поставленную задачу? первый, третий и четвертый пункт обязательны.

Answer 1

[pfg21]

поставь пакет rar из репозитория. в него упакован полноценный консольный rar, взятый с оф.сайта https://www.rarlab.com/download.htm или качни с rarlab последний релиз будет поновее.

pfg@srv:~$ lsb_release -d
Description:    Ubuntu 20.04
pfg@srv:~$ rar

RAR 5.50   Copyright (c) 1993-2017 Alexander Roshal   14 Jun 2017
Trial version             Type 'rar -?' for help

ну пункт 2 конечно будет неявным. хотя и обычными средствами я не знаю кто из архиверов делает дедупликацию входных файлов, ибо затратно.
ну и без гуйца жить придется, но привыкнешь :)

в 5ом формате рар умеет записывать линукс права и владельцев файла, а также разбирается в симлинках и хардлинках. спец.файлы пока не умеет а жаль

Comments

[MasterCopipaster]

ну консоль меня не пугает - я и так в ней живу наверное 80% времени

[ky0]

MasterCopipaster, странно тогда, что вы пытаетесь впихнуть все эти пункты именно в архиватор, а не декомпозировать задачу, сначала исключив дубликаты, и только потом скормив получившееся хоть gzip`у, хоть 7z.

[pfg21]

ky0, ну к примеру. нельзя дедуплицировать файлы в рабочей копии. потому как без наличия cow могут возникнуть непредвиденные проблемы.

[Линуксоид]

Забавно наблюдать, как репатрианты с Windows пытаются пересев в UNIX систему использовать её также как и свой Windows. Ребята, а оно вам надо, такие подвиги совершать?
Мучиться, устанавливать чуждый упаковщик rar, который и в репозитории то не во все в стандарт входит...

В Linux есть стандартные сжиматели не хуже: xz, p7zip или классика: bzip2, gzip.
На части файлы большие всегда разбивались утилитой split из пакета GNU coreutils.
Только перед тем как сжимать, несколько файлов из иерархического обычно агрегируют в UNIX утилитой tar в один (реже cpio, pax).
Если сами не освоите как из трёх комманд составить конвейер для решения задачи - стучите...

[Saboteur]

Линуксоид,
Подскажи какой из перечисленных тобой утилит добавить "9% информации от исходного размера для восстановление на случай повреждения." ?

P.S. эти воинствующие Линуксоиды зачастую даже в суть вопроса не вникают.

[pfg21]

Saboteur, в линуксе есть правоверный par2 - Parity ARrchiver добавляющий к файлу пакет для восстановления.
но он неактивен эдак с 2014 года.

собирать цепочку сложнокомандных конвеййеров в определенный момент начинает доставать ...
а уж вникать в чужой фильдеперсовый однострочник ...
хорошо работающий и отстроенный в своей работе мультиинструмент удобнее, чтобы кто бы не говорил :)

[Saboteur]

pfg21, сжать, при этом разбив по 25 gb и добавляя 9% информации для восстановления - проще инструментом, который сам может сделать все эти вещи, ибо конвеер посчитать это не сможет. В лучшем случае сперва сжать и добавить, а потом уже разрезать. Но это нужно место под все.
Поэтому да, хороший инструмент, который это умеет из коробки будет лучше, тем более что рар - как раз хороший инструмент.

[pfg21]

Saboteur, еще забыл одну удобную вещчъ - есть индекс архива, не распаковывая можно найти нужный файл и быстро вытащить только его.

Answer 2

[rPman]

Одновременно все пункты мне не известно какой архиватор умеет такое, но по отдельности можно собрать их разных утилит. Самые сложные пункты 2 и 3.

3 пункт есть к примеру у parchive, собственно отдельная утилита для разбиения на тома и добавления информации для восстановления.

Есть утилиты (например rdfind), создающие символические или хард линки для идентичных файлов, а уже после можно.

Т.е. упаковываете файл tar-ом (он умеет линки но не упаковывает), сжимаете его bzip-ом после разбиваете на тома parchive и все это через пайпы одновременно, минуя промежуточное хранение файлов на диске.

Comments

[MasterCopipaster]

Спасибо за ответ - решение интересное я его попробую

[d'Ivan]

MasterCopipaster,
Это Unix-way и таким способом работают многие программы. Но когда речь о резервных копиях, то надежнее иметь один инструмент, точно подходящий под задачу.
Если интересны программ-лего, то вот интересный проект: https://github.com/Roman2K/scat (но не мой).