Синхронизировать 2 каталога с БОЛЬШИМ количеством файлов, как?
Доброе время суток.
есть система архивации электронной почты, хранящая всю переписку сотрудников. Письма хранятся в виде eml в структуре каталогов, общий объем под 600Гб/7млн писем(и будет расти).
Как наименее затратно ежедневно/еженедельно синхронизировать каталог с почтой с резервной машиной? Пока пробовал rsync - но даже только построение списка для копирования занимает ощутимое время. Есть какие-то идеи?
интересная штука. Единственное - напрягла строка в описании на хабре, что " Хранить там сотни гигабайт файлов не получится". Самое паршивое, что на тесте у меня далеко не такое количество файлов - а играться на боевом религия не позволяет. В любом случае - спасибо за наводку.
вещь нормальная работает вполне стабильно, но долго, для синхронизации кластера с 60000 файлами он 1 раз прогоняет их около 20 часов, что конечно не является супер клевым значением. но зато легко настраивается.
еще много зависит от самих винтов, если ssd конечно время будет меньше, да и старые он не трогает только новые, но да при большом количестве новых файлов он будет не очень шустро это делать.
Ну для начала синхронизировать данные. Первичная синхронизация будет занимать большое время, а вот последующие будут сливать только измененные данные, поэтому будут проходить быстрее.
Простой
