Алексей Черемисин, Не о каком одном железе уже речи не идет, это можно сделать, но не нужно. Я же написал в третьем своем сообщении, что все обстоит иначе чем я изначально представлял, цитата из моего сообщения - "OSD мониторы должны быть на разных устройствах". Так же написал "Потом берем по одному серверу из каждого кластера и на них настраиваем мультикластер'. Под мультикластером я понимаю два конф файла в папке /etc/ceph. Это нужно для работы демона rbd-mirror. В итоге мы имеем два кластера ceph, и только на одном сервере из каждого кластере работает демон rbd-mirror.
И по поводу " переезда из одного географического района в другой", rbd-mirror может работать только в l2 сети. Цель мирроринга не переехать куда то, а дать отказоустойчивость.
Алексей Черемисин, эот тестовая среда. Такая схема наоборот повышает надежнось/отказоустойчивость. Два кластера ceph с двумя идентичными копиями. Если один кластер падает, то второй тут же готов к работе. Первый если подымается, восстанавливает копию из первого. Профит!
Алексей Черемисин, в итоге настроил, но настраивается немного не так как представлял. OSD мониторы должны быть на разных устройствах, пробовал на одних и тех же, но нормально это работать не хочет, так как мониторы подымаются на порту 6789, можно изменить порт, но все равно там появляются другие проблемы и не работает. В итоге мы должны настроить так - два кластера ceph с разными именами. Потом берем по одному серверу из каждого кластера и на них настраиваем мультикластер, то есть в папке /etc/ceph/ должен находиться конфиг и ключи не только основного кластера но и дполнительного. На эти сервера ставиться демон rbd-mirror и настраивается зеркалирование пулов. Проблем было много, все и не перечесть, чего стоит только то что ceph-deploy 2.01 не хотел разворачивать кластер с нестандартным именем, пришлось откатиться на 1.5.38.