Какой лучше использовать тип архива gz или bz2?

Question

[Простой Человек]

Хочу сделать бекап системы (Debian 10)
Что лучше использовать, чтобы сохранялись права и т.д.?

Comments

[d'Ivan]

Использую Dar

Answer 1

[rPman]

В linux исторически сложилось для архивации использовать tar, это наверное самый многофункциональный инструмент, позволит сохранить все плюс даже то что не нужно.

* для сохранения прав нужен ключ -p
* для сохранения extended attributes нужен ключ --xattrs
* для обнаружения и сохранения информации о дырявых файлах sparse ключ -S
* символические ссылки будут сохранены как ссылки по умолчанию, поведение можно по разному менять опциями (например хранить как файл или к примеру при распаковке пробовать создать hardlink вместо symlink и т.п.)

Упаковывать можно потом полученный tar архив или лучше в процессе, ключ -a автоматически определит архиватор по расширению, чем угодно. Никто не мешает тебе создать архив без его сохранения просто отправляя его в момент создания в никуда:
tar -cjf /dev/stdout . | wc -c
будет сжимать bzip2 (ключ j) текущий каталог с подкаталогами и отправлять его в команду wc, которая просто посчитает его размер в байтах и выведет на экран. Повтори команду поменяв ключ j на J (это xz), z (это gzip) и т.п. и сравнивай полученные размеры (советую попробовать zstd)

p.s. как альтернатива, можно архивировать не файлы а весь раздел, с помощью набора утилит partclone (поддерживает все даже что то типа ntfs) можно создать копию раздела, в котором не будут сохранены сектора, помеченные как свободные, при этом скорость работы утилиты сравнима с dd (а это вообще просто посекторное копирование) и в большинстве случаев позволяет менять размер раздела, на который будет все это восстанавливаться (с ntfs редко но могут возникнуть проблемы при уменьшении)

p.p.s. еще есть фичи-инструменты файловых систем, например у btrfs есть возможность получить в качестве файла разницу между указанными снапшотами, созданными в разное время, и применить его позже, хоть на другой машине... тоже можно считать инструментом для бакапа

Comments

[Простой Человек]

такая команда пойдёт?

tar -cvpjf -xattrs /root/backup_srv/system/system_"$date".tar.bz2 --exclude=/root/backup_srv/system/system_"$date".tar.bz2 --exclude=/home --exclude=/root/backup_srv/databases --exclude=/var/www/www-root --one-file-system /

[rPman]

выглядит синтаксически верной.
-xattrs нужен если у тебя файловая система с расширенными атрибутами и они используются. операционная система по умолчанию этим не пользуется

неужели будешь доверять контроль за своими бакапами рандомам из интернета? после создания бакапа ты просто обязан проверить его на восстановление, благо виртуалку развернуть вопрос десятка минут

[Простой Человек]

rPman, не понял по поводу рандомов?
сам скрипт писал и соответственно команду.

[Простой Человек]

а ещё вопрос, почему в этой команде, если добавить -cvpPjf то некоторые файлы и папки не пакуются?

Answer 2

[Денис Юрьев]

В данном кейсе (полные бэкапы) gzip и bzip2 жмут tar файл, который уже из себя представляет несжатый "архив" ваших файлов со всем атрибутами (смотря как флаги зададите)
Так что в плане прав и атрибутов файлов они абсолютно идентичны

Субъективно лучше gzip

Почему можно считать лучше bzip2

1. bzip2 выигрывает у gzip пару процентов по степени сжатия, да, безусловно
   

Почему можно считать лучше gzip

1. Он быстрее на сжатие (в 4-6 раз на синтетический тестах на смешанном контенте
   
2. На скорость распаковки степень сжатия не влияет практически никак, есть даже обратная зависимость - чем сильнее сжатие, тем быстрее распаковка. Быстрее bzip2 на распаковку в 6-10 раз.
   
3. Можно увеличить скорость сжатия/распаковки кратно количеству ядер используя вместо gzip его полностью совместимый многопоточный "форк" - pigz (на самом деле не форк, но на выходе получаете полностью совместимый gzip-архив).
   
4. Можно ускорить еще в 2-3 раза сжатие/распаковку если запариться и собрать pigz с zlib-ng/zlib-cf/zlib-intel вместо ванильного zlib 1.2.*
   

Да, bzip2 тоже есть многопоточный, а так же xz в последних версиях из коробки потоки поддерживает, но скорость распаковки у них ужасная, а когда бэкап надо развернуть срочно - перематеритесь и проклянете все и вся

PS: я вот доигрался с "эффективными" средствами сжатия и в данную минуту жду, пока распакуется архив с 200гб инфы, чтобы вытащить один единственный файл, так что воистину по больному и актуальному своим вопросом прошлись

Comments

[rPman]

есть еще zstd, работает по дефолту сильно быстрее gzip и не сильно хуже жмет (чаще так же или лучше), и конечно можно потюнить и имеет встроенную многопоточность

[Денис Юрьев]

rPman, на сегодня еще не везде из коробки поддерживается. а pigz+zlib-ng быстрее ванильного gzip в 16 раз (!) на распаковку на 4 ядерном процессоре с поддержкой инструкций avx2

pigz в дебиане 11 (вот-вот выйдет) почти научился эмулировать gzip чуть больше чем полностью через update-alternatives --config gzip (мерж реквест с правкой висит, ждет одобрения)
В предыдущих дистрибах тоже есть решение, но более изощренное

dpkg-divert --local --add --rename --divert /bin/gzip.gzip /bin/gzip 
ln -s /usr/bin/pigz /bin/gzip

в rpm и других дистрибах не смотрел что там в репах

[Денис Юрьев]

rPman, короче gzip хорош тем, что можно распаковать, как сказал Дмитрий , "на любом калькуляторе"

[rPman]

ты востаналивать свой архив будешь на микроконтроллере своего холодильника?
а так в любой нормальной современной ОС пакет zstd есть штатно

[Денис Юрьев]

rPman, хостингам об этом скажите) к сожалению моя работа в равной мере связана и с хостингами, и с виртуалками, и с физическими серверами.

И вот хостинги (в том числе весьма именитые) - те еще консерваторы, отрицающие прогресс

[Ромзес Панагиотис]

Денис Юрьев,

PS: я вот доигрался с "эффективными" средствами сжатия и в данную минуту жду, пока распакуется архив с 200гб инфы, чтобы вытащить один единственный файл

Архив TAR очень плохо подходит для извлечения единственного файла. TAR хорошо подходит для магнитных лент, где происходит последовательные запись/чтение.
Лучше уж что-нибудь типа ZIP, который найдет в индексе нужный файл и извлечет по заданному смещению из архива.

Современный ZIP довольно гибок и неплох. Недавно даже добавили поддержку Zstandard.
https://en.wikipedia.org/wiki/ZIP_(file_format)#Co...

[Денис Юрьев]

Ромзес Панагиотис, для бэкапов надо освоить dar, но руки не доходят

[Ромзес Панагиотис]

И стоит уточнить, ZIP не используется в резервировании ОС, конечно, т.к. подходит для пользовательских файлов.

Денис Юрьев, да, вполне можно и dar.

Answer 3

[Eugene TI]

Ну, в общем, итого:
1.1. gzip жмет быстрее, bz2 жмет сильнее (все - по-умолчанию). Но надо выбрать что-то одно.
1.2. xz жмет сильнее всех, но можно не дождаться до пенсии.
1.3.. zstd жмет примерно как gzip (и скорость и сжатие), но разжимает на порядок быстрее gzip. Но не везде есть.
2. что такое "лучше" в характеристика компрессоров отсутствует как класс (хотя слово best в манах присутствует).
3. к правам компрессоры отношения не имеют никакого.

Comments

[Простой Человек]

Дело не в сжатии, места хватает. Дело в том, чтобы я распаковал и не думал, что папкой www-root к примеру владеет root и т.д., и т.п.
Вот в чём "Что лучше?"

[Eugene TI]

Ну написали же - tar.
И уже его - компрессором. Получится tar.gz/tar.bz2/tar.zst
Естественно распаковывают надо на той же машине.
Права-то tar сохранит, а пользователей - естественно - нет.

[Eugene TI]

БлагоЯр Тишина, Да, кстати, совсем забыл - dump.
Если речь о бэкапе именно корня, то dump - точно то, что нужно.
Как обычно его потом можно обработать компрессором вкусу.

[be52]

lrzip жмет быстрее чем xz и так же сильно или сильнее, на медленных компах где xz слишком медленный он может помочь хорошо пожать. разжимает намного быстрее

[Простой Человек]

Eugene TI, дык это был не вопрос, а утверждение :)

dump ...
плох тем, что нужно создавать полную копию, а у меня около 40-45Гб не нужного. Как и говорил места хватает, но на фига мне то, чего не нужно

[Eugene TI]

БлагоЯр Тишина, Здесь трудно что-то конкретно посоветовать ввиду очень неполной постановки задачи.
Был вопрос о сферическом бэкапе в вакууме (о неполной копии речь не шла).
Если речь о бэкапе корня системы (и второй вопрос - зачем? Не бэкап же ради бэкапа), то это уже совсем другое. Здесь уже надо разбираться кто и как умудрился довести корень до 40-45 ГБ ненужного. А мой телепат в бессрочном отпуске.
А так то на ваш вопрос "чем лучше жать с правами" вам ответили: с правами - в одну сторону, со сжатием - в другую.

[Простой Человек]

Eugene TI, да не, это папка /home столько весит.
Плюс есть поддомены для демо-записей с игровых серверов и других игровых ресурсов (тоже сверху ещё 10Гб).
То бишь каталог /var/www тоже по сути не нужен.

Как-то недавно был случай (сильно не смеятся), сутки не спал, короче мутил скрипт бекапа и в итоге случайно выполнил команду
find $dest/* -type f -mtime +30 -delete

А бекапа не было. Поэтому задача простая - нужно, чтобы была возможность восстановиться.

Answer 4

[Valdemar Smörman]

.gz
ИМХО...

Comments

[Простой Человек]

Ну а причина?
И по сути вопроса - и тот, и другой пригоден?

[Valdemar Smörman]

БлагоЯр Тишина, да хотя бы писать на 1 букву меньше...

[Простой Человек]

Valdemar Smörman, ооохренеть аахаххаахах
АРГУМЕНТ ёпта!

[Valdemar Smörman]

БлагоЯр Тишина, так самые распространённые расширения для Linux - .gz, .xz

Те же бинарники.
Редчайший случай, когда встретишь .bz2

[Простой Человек]

Valdemar Smörman, если коротко и по сути - то по фигу. Правильно понимаю?

[Дмитрий]

Gz так как он из коробки поддерживается на любом калькуляторе

[Талян]

Дмитрий, БлагоЯр Тишина, Я так, мимо проходил))
Просто вспомнил случай во времена диалапа и сайтов на narod.ru.
Так вот, мой одноклассник сделал сайт, и выложил туда крякнутые варезы и тд в ормате winACE от одноименного архиватора, ибо архив .ACE был плотнее, чем тот же rar или zip.

Так же он на сайте выложил и сам установщик WinACE. Кто его не скачал - тот не сможет открыть ничего из представленного на сайте))

Шутка-минутка

[Дмитрий]

Талян, ну раньше и arj был ходовой

[Valdemar Smörman]

БлагоЯр Тишина, правильно понимаешь суть

Answer 5

[Lynn «Кофеман»]

Ни то ни другое не сохранит права и всё такое

Comments

[Простой Человек]

И как быть, как бекапить, чтобы потом без проблем восстановить?

[Lynn «Кофеман»]

БлагоЯр Тишина, ну вон у вас даже в метках написано tar

Answer 6

[xotkot]

для сохранения прав можно запрячь rsync или tar а для сжатия лучше xz
как пример https://wiki.archlinux.org/title/Rsync#Full_system...

Comments

[Денис Юрьев]

я досжимался xz-ом, плююсь теперь, когда из 100гб+ вытащить один файл надо

[xotkot]

Денис Юрьев, если нужен бэкап данный то лучше использовать dwarfs , хорошо жмет и быстрый доступ

[Простой Человек]

rsync чёт я его откинул, потому что не умеет на Gdrive сохранять, но узнал, что rclone может монтировать его.
Вот и задумался rsync+rclone :)