Как правильнее скопировать 10ТБ данных с одного сервера на другой?

Question

[kizijo]

Здравствуйте.

Имеется два linux сервера. Нужно с одного на другой перебросить 10ТБ данных в виде папок и файлов.
Через какие инструменты будет правильнее это сделать?

По большей части волнует вопрос обрыва соединения, чтобы корректно потом возобновилась перекачка.

Спасибо.

Comments

[Дмитрий]

Ну или по старинке через mc
Слева первый сервер, справа второй. Копировать f5

[Wexter]

Дмитрий, посмотрел бы я сколько этот ваш mc будет только сканировать 10тб....

[АртемЪ]

Wexter, а сканировать их зачем?

[Wexter]

АртемЪ, так он же перед копированием считает их все чтобы показать прогресс
никогда не пробовали копировать ~2миллиона файлов через mc?
я вот пробовал как-то, успел пару серий посмотреть до того как он начал копирование

[pfg21]

если есть место и содержимое представляет собой хорошо жмущиеся файлики то предварительно сжать 7z lzma и рархив перетянуть с помощью рсинка.

Answer 1

[sim3x]

rsynс и терпение

Comments

[kizijo]

rsync -rtu SOURCE root@x.x.x.x:/DESTINATION

Так?

[sim3x]

kizijo, только не от рута

[rionnagel]

valynkin.ru/rsync-kachaem-po-ssh-s-dokachkoj.html

[sim3x]

rionnagel, лучше не давать линки на сомнительные источники

[rionnagel]

sim3x, да по первым ссылкам из гугла хотел намекнуть обратить внимание на опции --append-verify --append и --partial

[alfss]

kizijo, только не через ssh, лучше поднять rsync сервер.

Answer 2

[aleks-th]

Apache+Wget :)
При обрыве связи докачает ;)

Answer 3

[moropsk]

Есть более длнинный путь, при условии, что сервера в одной сети.
На сервере №1 расшарить папку через samba
На сервере №2 примонтировать папку с сервера №1
Скопировать нужное.
Размонтировать папку.

Comments

[Армянское Радио]

А как контролировать целостность данных при разрыве соединения?

Answer 4

[Алексей]

Еще можно по NFS подмонтировать каталог и скопировать данные.

Answer 5

[Antonto]

Непонятно расстояние между серверами. Если сервера на разных континентах, то можно воспользоваться чем-то типа UFTP (FTP поверх UDP), т.к. при больших задержках TCP не эффективен.
Если рядом, то самое простое FTP или rsync.
rsync удобен тем, что исправит ошибки в уже скачанных файлах, если они оказались битыми по какой-то причине. Если сервера в одной сети - лучше запустить rsync демон, т.к. в режиме SSH возрастет нагрузка на процессор из за шифрования трафика.
FTP в локальной сети - один из самых быстрых подручных протоколов. Но не уверен, что консольные клиенты FTP будут работать с докачкой и в пакетном режиме. Хотя можно попробовать Midnight Commander - он поддерживает FTP, но не уверен, что даст максимальную скорость.
Ну и конечно запускать копирование надо внутри сессии screen или tmux, чтобы при отключении терминала копирование не прервалось.

Answer 6

[Drno]

Самый простой вариант - sftp?