Как передать множество файлов с разархивированием на лету?

Question

[zooks]

Всем привет.

Возникла необходимость передать множество файлов (>10 ГБ в сжатом виде) в условиях когда на сервере есть место только под файлы, не включая размер самого архива.

Иными словами сейчас есть архив tar.gz, как сделать так чтобы он разжался в определенную папку на сервере, не сохраняя его на сервер, т.е. на лету? Через SSH или SCP.

Comments

[Дмитрий Шицков]

вы хотите передать через SSH или SCP, но с одного сервера на другой нет доступа, т.к. у серваков нет выделенного IP?

[zooks]

Дмитрий Шицков: у сервера есть, файл передаю с компьютера

Answer 1

[Алексей Черемисин]

Через nc (netcat)!
На стороне клиента
cat mytarfile.tag.gz | nc 192.168.199.1 5432
На стороне сервера
nc -l 5432 | tar -C /var/www -xz
Да, только ключики команды посмотрите перед использованием, в разных операционках они отличаются - man nc и man netcat

Comments

[zooks]

192.168.199.1 - машины находятся в разных сетях, причем у интернет-провайдера нет выделенного IP.

[Алексей Черемисин]

zooks: 192.168.199.1 - это для примера, подставляйте любой! Ну и просто одна из машин, только та что принимает, должна иметь выделенный адрес, и все.

[Алексей Черемисин]

вместо ip-адреса можно и подставить имя машины типа example.com

[zooks]

Алексей Черемисин: т.е. 192.168.199.1 - это адрес машины, принимающей файл. И сначала команда выполняется на стороне клиента?

[Алексей Черемисин]

zooks: да, это адрес принимающей машины, нет, сначала на принимающей машине запустить команду, потом на передающей.

[zooks]

Алексей Черемисин: спасибо, для Ubuntu не пришлось подбирать ключи к команде. Все работает отлично.

Answer 2

[zooks]

1. Работает и архивирование (спасибо Saenara ) и способ с netcat.

cat perekos.tar.gz | ssh [e-mail] "tar -xzf - -C /path"

Времени занимает 20-30 минут на 10 ГБ архив.

2. В случае передачи папки с архивированием на лету желательно убрать ключик -z, т.е. архивировать без сжатия:

tar -cf - /path/to/dir | ssh [e-mail] "tar -xvf - -C /path"

3. Также рекомендуют rsync:
rsync -az /path/to/dir [e-mail]:/path

Answer 3

[Dimonchik]

никак

2V в 1V вы никак не всунете, но если исходный архив можно разбить на несколько, то через nc действительно самый быстрый способ передачи

www.screenage.de/blog/2007/12/30/using-netcat-and-...

Comments

[zooks]

Читайте внимательнее вопрос. Место на диске есть под разжатый архив. Никаких "2V" помещать никто не собирался.

[Dimonchik]

он не начнет разархивироваться на этом диске, не оказавшись на нем полностью, оказавшись - займет 1V

[zooks]

dimonchik2013: почему вы считаете, что не начнет? В крайнем случае можно будет сделать tar без сжатия. Одним файлом передается в целях ускорения загрузки. Вопрос в другом - как разархивировать на лету. Я видел несколько вариантов, хотел спросить реально работающий у тех, кто сталкивался с данной проблемой.

[Dimonchik]

потому что CRC
не, ну канешна йесть технологии по восстановлению поврежденных бла бла, но сильно сомневаюсь, что они рекаверят неполные, максимум - с пересавленными (ascii / binary режим) байтами

[zooks]

dimonchik2013: всунул 2 в 1 ) Так что архив .tar.gz можно распаковывать и на лету.

[Dimonchik]

))