Как быстрее копировать?

Question

[DarkByte2015]

Копирую много файлов с одного сервера на другой. Пытаюсь понять как быстрее (периодически бывает такая необходимость). Никак не могу понять чем отличаются опции rsync -a и -z? Согласно ману первая архивирует, вторая сжимает... Разве это не одно и тоже? Или первая сжимает все файлы сразу в один архив, а вторая каждый файл отдельно сжимает? Как быстрее?

Comments

[Евгений Вольф]

Согласно ману первая архивирует, вторая сжимает... Разве это не одно и тоже? Или первая сжимает все файлы сразу в один архив, а вторая каждый файл отдельно сжимает?

Архивация (если говорить о программах-архиваторах) - это объединение нескольких файлов в один и к процессу сжатия это не имеет никакого отношения, компрессия (или "сжатие") - это уменьшение размера исходного файла. Например, TAR - это архиватор, а GZip или BZip - это компрессор, иногда они используются вметсе (сначала файл архивируется а потом сжимается, или сначала файлы сжимаются по отдельности, а потом архивируются).

С точки зрения скорости передачи данных, если и передающая сторона и принимающая - обладают достаточно мощным процессором для компрессии/распаковки - целесообразно файлы сжимать. В случае же с архивацией - зависит от протокола передачи данных и кол-ва файлов, например, среднестатистический исходный код проекта N, по FTP передаётся гораздо быстрее в виде архива, в большинстве случаев.

На счёт конкретно RSync'а и Вашего конкретного случая - сложно сказать наверняка...

[DarkByte2015]

Евгений Вольф, чепуха. Нахрен такой архив который не меняет размер? Все архиваторы одновременно и сжимают. Протокол ssh вроде. Или sftp. Короче команда у меня такая выходит: rsync -rvz folder user@host::folder. Авторизация по паролю. Если это имеет значение целевой сервер - synology (сетевое хранилище). Передаю документы, пдф и изображения.

[RidgeA]

DarkByte2015,

Нахрен такой архив который не меняет размер?

ну попробуй скопировать 1кк файлов размером 1кб каждый или 1 файл размером 1гб куда-то и померь время...

[DarkByte2015]

RidgeA, ладно не важно. Суть в том что по умолчанию большинство архиваторов сжимает все-таки файлы. А не просто объединяет их в один. Даже если там и есть такая опция то ее надо включать отдельно.

[sim3x]

DarkByte2015,

по умолчанию большинство архиваторов сжимает все-таки файлы

*пытаются сжимать
Бинарные форматы файлов часто сложно или невозможно сжать с уменьшением размера

Вместо передачи сотен файлов лучше передавать один, но сумарного размера

Вам правильно намекнули

[vreitech]

DarkByte2015,
> Все архиваторы одновременно и сжимают.
чушь, далеко не все.

Answer 1

[Сергей]

Всё же написано.

-a, --archive
Эквивалентно набору -rlptgoD. Это быстрый способ указать, что Вам нужна рекурсия и Вы хотите сохранить почти все.
Однако заметьте, что -a не сохраняет жесткие ссылки, потому что поиск многосвязных файлов дорог. Вам придется отдельно указывать -H.

-z, --compress
С этим параметром rsync сжимает все передаваемые данные файлов. Это полезно на медленных линиях. Метод сжатия, используемый при этом, тот же, что реализует gzip.
Заметьте, что при этом обычно достигается лучший коэффициент сжатия, чем может быть достигнут, используя сжатие программ удаленной оболочки или сжатие транспортного уровня, т.к. в процесс сжатия вовлекается вся информация, посылаемая в соответствующих блоках данных.

www.opennet.ru/man.shtml?category=1&russian=0&topi...

Comments

[DarkByte2015]

Самый лучший ответ! Спасибо. Не видел эту статью, а в обычном линуксовом мане не настолько подробно описано. Интересно, а я могу применять одновременно эти два ключа?

[Дмитрий Шицков]

DarkByte2015, да

Answer 2

[RidgeA]

опции `a` и `z` это разные вещи и в `man rsync` вполне понятно написано за что каждая из опций отвечает.

tl;dr - за сжатие данных отвечает опция `z`

Answer 3

[Andrej Gessel]

Опция -а не создаёт архив, а ведёт себя т.к. архив, то есть сохраняет все мета данные к файлам(время создания, пользователя, группу и т.д.).
Ну а -z сжимает всё все данные при передачи.
Скорость передачи данных, как написал Владимир , зависит от количества данных, синхронизируются ли данные или делается новая копия, насколько копии различаются между собой.

Answer 4

[Владимир]

1 почитайте man там каждый ключ обьясняется.
2 скорость зависит от многих вещей - скорости сети, типа шифрования ssh и тд
3 много файлов это сколько ? тысячи сотни тысяч? миллионы ? их средний размер ? тип файлов ? ( обычно нет смысла сжимать видео или картинки)