Как быстрее скопировать 600 тысяч файлов на удаленный сервер?

Question

[Zabolots]

Здравствуйте.
Нужно перенести 600 тысяч файлов небольшого размера (картинки) с сетевого хранилища (linux, есть sftp, nfs) на debian-сервер. Вопрос - как это сделать быстрее.
Попробовал в midnight commander через shell-соединение - долго (примерно два файла в секунду, скорость показывает 46 KB/s). Подскажите - как быстрее?

Comments

[key don]

Напиши что вышло по времени разными способами

[Zabolots]

В итоге использовал tar без создания промежуточного архива и без сжатия.

Answer 1

[res2001]

Объедините их в один файл без сжатия и копируйте один файл, потом распакуете.
tar может это сделать.

Comments

[Zabolots]

Попробую. А не подскажете что быстрее - tar или zip без сжатия?

[res2001]

tar по моему достаточно быстрый, учитывая, что это не архиватор.
Еще tar умеет архив кидать в stdout и получать из stdin при распаковке, с помощью этого механизма можно передавать без использования дополнительных файлов.

[res2001]

Zabolots, Можно вот так например: https://habrahabr.ru/post/56049/

[AVKor]

res2001,

учитывая, что это не архиватор.

tar (от tape archive) именно архиватор. Это виндовая неправильная традиция сложилась называть архиваторами программы сжатия информации. Изначальный (в никсах) смысл понятия соответствует именно тому, что делает tar.

[zooks]

Zabolots, Сожмите tar на лету и распакуйте тоже на лету.

Answer 2

[DrunkMaster]

Надо заархивировать, закачать, разархивировать

Comments

[Zabolots]

Вы знаете, я тоже про это подумал и попробовал zip сделать с опцией -0 (без сжатия), но он минут 15 только писал scanning (то есть даже не начал делать архив - и я отменил). Но параллельно шло копирование - может из-за этого так медленно... счас еще попробую).

[DrunkMaster]

Zabolots, да небыстро, но вы в любом случае выиграете. Арихитейте всё не в 1 архив а например в 3-10 архивов

15 только писал scanning

С - спешка )))
Вечером поставьте всё архивироваться, если места хватит то у ктру получите архив

[Эдуард Тибет]

Zabolots, если использовать два разных (физически) диска, то время резко сократится. И если без сжатия, то это будет = скорости записи на диск (30-100 Мб в сек.). Т.е. один диск - с файлами, а в другой пишется целевой файл.

[jcmvbkbc]

можно это делать вообще без создания промежуточного архива:

tar -c <каталог с файлами> | pigz -1 | ssh <сервер> "tar -xzC <место куда распаковывать на сервере>"

[DrunkMaster]

jcmvbkbc, а передача в этом случае начнётся когда архив полностью создатся или он по частям в процессе будет прередавать?

[jcmvbkbc]

DrunkMaster, передача и распаковка начнётся сразу.

Answer 3

[Roman Ratkin]

rsync --progress -avz -e ssh /что/ user@server:/куда/

Answer 4

[ky0]

Скорость низкая из-за того, что большую часть времени процесс создаёт файлы, а не передаёт данные.

Сделайте пайп, состоящий из архивации в tar и передачи по ssh, после завершения передачи одним усилием распакуете с другой стороны tar. Правда не уверен, что это будет быстрее rsync, который уже предложили выше, нужно мерять.

Answer 5

[Виктор Бровков]

Использовать resilio sync
https://www.resilio.com/
Я использую его как для синхронизации, так и для копирования.
В линуксе работает через веб интерфейс.