Есть ли какой-нибудь способ «на лету» архивировать и копировать с одного сервера на другой?

Question

[brar]

Два сервера. У каждого RAM 2GB и диск 50 GB. На одном из них каталог с мелкими и не очень файлами размером 29 ГБ. Простое копирование занимает очень много времени за счет большого кол-ва файлов. Создать архив для дальнейшего его копирования - места не хватает.
Можно ли сделать так, чтобы архивировать на лету и тут же отправлять поток (или пайп, как правильнее выразиться, не знаю) в сеть на второй сервер, а там, на втором сервере, соотвественно, на лету разархивировать.
Маппинг каталога одного из серверов к другому сделал через sshfs.

Answer 1

[DevMan]

serverfault.com/questions/208300/quickest-way-to-t...
лично я бы юзал старый добрый rsync с компрессией.

Comments

[brar]

Спасибо!

[DevMan]

kinvlad: пожалуйста)

[DevMan]

kinvlad: только уберите лишнюю прослойку в виде sshfs.

[brar]

DevMan: Окей :)

[AVKor]

DevMan: Так можно было туда и затарить.

[DevMan]

AVKor: можно, но не вижу необходимости в sshfs для бекапа.

[AVKor]

DevMan: Просто ТС это уже сделал. Можно было тогда уж и использовать.

[brar]

AVKor: Да, затарить можно, конечно, но потом в силу, опять-таки, нехватки места, не распакуешь на втором сервере. :) Не уточнил в вопросе этот момент.
Кстати, насколько понял из мана, у rsync --archive - это сохранение прав файлов и каталогов, то есть по сути архивирование перед отправкой в сеть не производится. Опция -compress судя по варьирующейся скорости в ifconfig, тоже, не делает сильно погоды в моем случае. Но в статье, которую прислал DevMan есть еще много вариантов. Буду пробовать.

[AVKor]

kinvlad: В исходном сообщении говорится про архивирование.

Если оно не нужно, то можно было просто отрсинкать туда.

Или, раз уж было произведено монтирование через sshfs, скопировать.

Answer 2

[Игорь]

Однозначно Rsync =)

Answer 3

[Олег Цилюрик]

Можно ли сделать так, чтобы архивировать на лету и тут же отправлять поток (или пайп, как правильнее выразиться, не знаю) в сеть на второй сервер, а там, на втором сервере, соотвественно, на лету разархивировать.

Это много десятков лет (в разных UNIX-like OS) делалось добрым старым tar-ом.
tar - Tape ARchiver. преобразователь иерархии файлов в "формат магнитной ленты" (откуда и Tape), в линейную последовательность байт.
А дальше (желательно в вашем случае) сжимайте результат tar любым удобным вам компрессором: gzip, bzip2, 7zip, ...

На приёмном конце делаете обратное.

А передаёте любым удобным вам способом: SSH, FTP, NFS, ...

Comments

[brar]

А не поделитесь примером команды?

[Олег Цилюрик]

Здесь вариантов миллион, в зависимости от того, какой инструмент вы выберете на каждом шаге процедуры (конвейера). Например что-то подобное следующему:

- передача:
$ tar -c *.* | bzip2 | nc -l 3333

- приём:
$ nc 192.168.0.1 3333 > bzcat | tar -x

Если вас смущает размер (большой) архива, можете после tar побить его на части и гнать поток многотомного архива:
$ tar -c *.* | split -b 1024m - | bzip2 ...

P.S. Я может с опциями команд что-то слегка и напутал (не проверял в этот раз), но поэкспериментировав раз-другой вы легко составите себе рабочие скрипты.

[brar]

Олег Цилюрик: Спасибо.

[Олег Цилюрик]

kinvlad:
Пожалуйста ;-)