Как перенести большой объем данных с сервера на сервер?

Идет процесс переноса серверов в облако. Встал вопрос переноса данных. Данных этих около 2 Тб. Средний размер файла около мегабайта, то есть получаем в районе 2 миллионов файлов.
Есть ли иные варианты помимо rsynca? Если нет, то может какие-то особенности его работы при таких объемах.
Может ли быть вариант со сжатием того, что есть сейчас и переносом архивов (ftp/scp), а потом уже синхронизацией того, что появилось за время переноса с тем, что распаковано (переносится продакшен, так что файлы медленно будут продолжать добавляться).
  • Вопрос задан
  • 947 просмотров
Решения вопроса 1
@remzalp
Программер чего попало на чем попало
tar zcf - tobearchived | ssh user@destination_server_ip 'tar zxf -'
Жмёт со сжатием в tar, отдаёт поток сжатого по ssh, на той стороне запускается tar и распаковывает.
В цепочку можно добавить любой архиватор по вкусу.

Для ускорения канала - выкидываем сложную шифрацию в настройках SSH, оставить какой-нибудь RC4, компрессия скорей всего тоже будет только замедлять.

я так дамп сервака делаю периодически :)
Ответ написан
Пригласить эксперта
Ответы на вопрос 4
Rsync. Прочтите внимательно man по нему, попрактикуйтесь на кошках. Есть и сжатие при передаче в том числе.
Ответ написан
@kegebinem
Syncthing - специализированная вещь под такие дела.
Но скорость хоть и хороша, но негарантирована.
По умолчанию Syncthing старается не нагружать канал.

Но да, мелкие файлы всегда лучше запаковывать.
Ответ написан
@LiguidCool
Torrent ( он в принципе и без трекера может работать). Ну или попроще - Syncthing.
Ответ написан
Sanasol
@Sanasol
нельзя просто так взять и загуглить ошибку
Можно попробовать. Ещё сжатия в архив засунуть, возможно передача будет быстрее. Но вот сколько времени он будет собирать архив фиг знает, может быть просто разница не будет того стоить.

Проще попробовать как всегда. И замерять время разными вариантами.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы