Какие есть нормальные варианты синхронизации больших объемов данных?
На данный момент есть 2 сервера, на одном из них директория с огромной кучей файлов общим объемом 440Гб. Размер файла в среднем 140Кб. При этом в папке постоянно создаются новые файлы.
Копировал через
rsync -aPhW --protocol=28 -e ssh user1@server1:/folder/ /folder/
Сначало процесс достаточно шустро лил данные. За 10 минут скопировал примерно 100Гб (сеть 1Гб). Оставил на ночь - думал с утра будет все закончено. Куда там. Процесс продолжается, при этом average на обоих серверах достаточно ощутимый.
Что я делаю ни так? Может есть что то более шустрое чем rsync?
Можно попробовать лить не через ssh а через протокол rsync. В этом случае не нужно будет шифрование и все заработает быстрее. Правда на сторонее приема нужно будет запустить rsync как демона.
Простой
