find генерирует список всех каталогов для xargs ( думаю можно уменьшить список с помощью -mtime, или держать его в файле ), xargs запускает паралельно ( -P 10 ) 10 rsync'ов по списку.
Примерно 120 тыс. каталогов, 17 млн. файлов, всего 3.5ТБ. На ненагруженном приемнике iowait 0-7%, la ~2. Rsync отрабатывает за 10 минут.
Я тоже этим вопросом уже давно занимаюсь. glusterfs смотрел. Вы сами для таких задач его использовали?
У mirror очень затратны по времени операции с мета-данными, что выливается в серьезные тормоза при работе с большим количеством «мелких» файлов, особенно при восстановлении реплики.
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.