@kizijo

Как правильнее скопировать 10ТБ данных с одного сервера на другой?

Здравствуйте.

Имеется два linux сервера. Нужно с одного на другой перебросить 10ТБ данных в виде папок и файлов.
Через какие инструменты будет правильнее это сделать?

По большей части волнует вопрос обрыва соединения, чтобы корректно потом возобновилась перекачка.

Спасибо.
  • Вопрос задан
  • 494 просмотра
Решения вопроса 1
sim3x
@sim3x
rsynс и терпение
Ответ написан
Пригласить эксперта
Ответы на вопрос 5
@aleks-th
Apache+Wget :)
При обрыве связи докачает ;)
Ответ написан
Комментировать
moropsk
@moropsk
Есть более длнинный путь, при условии, что сервера в одной сети.
На сервере №1 расшарить папку через samba
На сервере №2 примонтировать папку с сервера №1
Скопировать нужное.
Размонтировать папку.
Ответ написан
Age1mar
@Age1mar
DevOps a little
Еще можно по NFS подмонтировать каталог и скопировать данные.
Ответ написан
Комментировать
@Antonto
Непонятно расстояние между серверами. Если сервера на разных континентах, то можно воспользоваться чем-то типа UFTP (FTP поверх UDP), т.к. при больших задержках TCP не эффективен.
Если рядом, то самое простое FTP или rsync.
rsync удобен тем, что исправит ошибки в уже скачанных файлах, если они оказались битыми по какой-то причине. Если сервера в одной сети - лучше запустить rsync демон, т.к. в режиме SSH возрастет нагрузка на процессор из за шифрования трафика.
FTP в локальной сети - один из самых быстрых подручных протоколов. Но не уверен, что консольные клиенты FTP будут работать с докачкой и в пакетном режиме. Хотя можно попробовать Midnight Commander - он поддерживает FTP, но не уверен, что даст максимальную скорость.
Ну и конечно запускать копирование надо внутри сессии screen или tmux, чтобы при отключении терминала копирование не прервалось.
Ответ написан
Комментировать
@Drno
Самый простой вариант - sftp?
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы