Как быстрее скопировать 600 тысяч файлов на удаленный сервер?

Здравствуйте.
Нужно перенести 600 тысяч файлов небольшого размера (картинки) с сетевого хранилища (linux, есть sftp, nfs) на debian-сервер. Вопрос - как это сделать быстрее.
Попробовал в midnight commander через shell-соединение - долго (примерно два файла в секунду, скорость показывает 46 KB/s). Подскажите - как быстрее?
  • Вопрос задан
  • 743 просмотра
Решения вопроса 1
@res2001
Developer, ex-admin
Объедините их в один файл без сжатия и копируйте один файл, потом распакуете.
tar может это сделать.
Ответ написан
Пригласить эксперта
Ответы на вопрос 4
DrunkMaster
@DrunkMaster
Надо заархивировать, закачать, разархивировать
Ответ написан
ky0
@ky0
Миллиардер, филантроп, патологический лгун
Скорость низкая из-за того, что большую часть времени процесс создаёт файлы, а не передаёт данные.

Сделайте пайп, состоящий из архивации в tar и передачи по ssh, после завершения передачи одним усилием распакуете с другой стороны tar. Правда не уверен, что это будет быстрее rsync, который уже предложили выше, нужно мерять.
Ответ написан
VedmakOff
@VedmakOff
Знаний много не бывает
Использовать resilio sync
https://www.resilio.com/
Я использую его как для синхронизации, так и для копирования.
В линуксе работает через веб интерфейс.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы