Как лучше реализовать непрерывную синхронизацию файлов и прав доступа к ним между двумя серверами на Linux и Windows?

Question

[severnik]

Имеются два удалённых друг от друга сервера на Ubuntu 16.04 и Win2012r2.
Оба втянуты в один домен с AD, на обоих имеются файловые шары с множеством различных прав доступа через AD.
В шарах порядка 3млн. файлов в 400тыс. директорий. Всего чуть более 3ТБ данных.
Всё это дело надо непрерывно синхронизировать с минимальными задержками между серверами хотя бы в одну сторону (с линукс на винду) и, желательно, бесплатными решениями.

Рассмотренные варианты:
Resilio Sync - не умеет синхронизировать расширенные атрибуты (xattr, ACLs), есть Connect, но там платно уже,
Syncthing - тоже не умеет синхронизировать расширенные права доступа,
rsync - всё отлично синхронизирует, но долго строит дерево каталогов,
lsyncd - нельзя синхронизировать с виндой, пробовал монтировать виндовую шару через CIFS, но там нет inotify и ничего не получилось,
osync - тоже не получилось синхронизировать с примонтированной виндовой CIFS директорией, выдаёт

No inotifywait command found. Cannot monitor changes.

Unison - не умеет синхронизировать расширенные права. Хотя двусторонняя синхронизация на тесте с параметрами -repeat watch -fastcheck true быстрее всех остальных, но на больших объёмах данных я так и не дождался окончания начального построения,
robocopy - встроенная утилита в винде, аналогична rsync в линуксе, на нём и остановился пока, т.к. там есть встроенные параметры мониторинга изменений в исходной шаре.

Запускаю в несколько процессов команды на каждую шару (для ускорения):

ROBOCOPY \\serv01\share \\serv02\share /MIR /SEC /Z /R:1 /W:5 /REG /MT:32 /MON:1 /SECFIX /NFL

/MON:1 - мониторит изменения источника за 1 минуту после окончания синхронизации и перезапускает процесс.
Проблема та же, что и у rsync - долгое построение дерева, отключить это, как в lsyncd или Unison, по видимому никак нельзя. Если кто знает, как можно отключить первоначальное построение дерева и сразу передавать изменения, подскажите, пожалуйста.
То что без начальной синхронизации менее надёжно знаю, планирую раз в сутки полностью прогонять rsync или robocopy.

Есть ли что-то ещё, что умеет синхронизировать так же и расширенные атрибуты, без первичного построения дерева?
Robocopy умеет как-то мониторить изменения файловой системы в линуксовой шаре, под линукс ничего, что так же работало бы с шарами, я не нашёл, только lsyncd и его производные, следящие за inotify.

В отдалённой перспективе снести винду и сделать везде lsyncd или zfs репликацию, но это дело будущего, сейчас надо решение в текущей конфигурации.

Comments

[pindschik]

Я в итоге подобных экспериментов не нашел идеала. Часть ресурсов удаленных филиалов оставил удаленными дисками (медленными, через IPSec), а для ресурсов, где скорость и синхронизация более критична - только DFS. Robocopy остался для еженедельной медленной архивации. Да и присматривать за ним надо, часто пропускает.

[edo1h]

rsync - всё отлично синхронизирует, но долго строит дерево каталогов,

поясните, пожалуйста.
сколько у вас там файлов/каталогов, как запускаете? (rsync -e ssh?)

[severnik]

edo1h, так как второй сервер на Windows, то монтировал её шару в Ubuntu через CIFS и запускал rsync локально между исходной и монтированной директориями.
Синхронизируется, как и писал в вопросе, около 3 млн. файлов/400 тыс. каталогов.

[edo1h]

severnik, так делать не надо, запускайте по rsync с каждой стороны (или с одной стороны демон, или `rsync -e ssh`).

физически какое хранилище? если ssd или массив hdd — стоит запускать в несколько потоков, рецепты есть на stackexchange.

Answer 1

[pindschik]

Из личного интереса дополню вопрос к сообществу: данная проблема не существует в связке Windows+Windows (через репликацию DFS), но есть ли вообще альтернативы, НОРМАЛЬНО работающие аналогичным DFS образом? Т.е. формирующие на лету буфер репликации, с разностным сжатием данных, отслеживающие права, альтернативные потоки файлов, СТАБИЛЬНЫЕ, и при этом не пасующие как Sync перед хранилищем, несколько большего размера и сложного строения, чем домашний фотоархив?

Answer 2

[Alexey Dmitriev]

В Samba есть какая-то поддержка DFS .
Возможно зря отказались от идеи с DFS?
Я не уверен, но возможно шары Samba можно добавлять в Folder Targets Namespace'ов, либо настроить одностороннюю DFSR c Windows шары на Samba шару.

Comments

[severnik]

Читал, что с DFS тоже хватает проблем, и на больших объёмах с миллионами файлов она не очень хорошо работает. Плюс это дополнительный уровень абстракции над файловой системой, и дополнительная потеря в скорости, с учётом удалённости шар. В будущем, когда встанет вопрос покупки новых серверов, планирую вообще отказаться от Windows шар, буду пробовать ZFS репликацию или что-то распределённое. Будет медленно, вернусь к drbd или к файловой репликации, мониторящей inotify.

Answer 3

[Dimonchik]

cyberduck.io + sftp или что там еще

но все это не lsync , конечно

Answer 4

[Александр]

Почему Ceph не смотрел?
Общий диск для

Ubuntu 16.04 и Win2012r2.

Comments

[severnik]

Ceph смотрел, как и ZFS со всякими прочими распределенными системами хранения данных. В моём случае, когда с обоих концов всего по паре зеркалированных HDD и не так много памяти, а сами сервера в паре тысяч км друг от друга, оверхед у всех таких систем, боюсь, будет неприлично большой. Поправьте меня, если я ошибаюсь, т.к. только читал про это.

[Александр]

Не ошибаешься )))
При 100 мбит сети скорость чтения\записи где то 2-4 Мб (пики до 6) и это без нагрузки (но машины 15 летней давности).
Так что интернет нужен очень хороший.
Меньше 10 машин с райд 1-0 смысла не вижу строить ))).
НО это если постоянная запись идет. Для чтения ей проще жить.