В результате эволюционно пришли к OpenStack + CEPH. ceph перед всем* остальным имеет ряд преимуществ:
- поддержка кластеризации за любом уровне - от диска -> до ноды -> до стойки -> до зала -> до датацентра -> до региона. Т.е. правилами можно настроить репликацию данных так, чтобы копии располагались как минимум один раз на любом необходимом уровне абстракции.
- устройства хранения в ceph можно добавлять подисково. Т.е. вам не нужно иметь RAID на каждом физическом хранилище, можно в любом момент добавить диск или его удалить, при этом данные автоматически ререплицируются для поддержания выбранной стратегии хранения. Само собой, RAID использовать можно, но это лучше делать для увеличения скорости, нежели для увеличения надежности. Скажем, если у вас SATA-диски, их можно запихнуть в RAID0 (stripe), и это, конечно, даст прирост производительности.
- в любой момент можно одной командой изменить минимальное количество распределенных копий данных для каждого отдельного пула (так называется аналог шары в ceph; т.е. всё хранилище данных разделено на пулы, доступ к которым может контролироваться отдельно), перестроение начинается немедленно; конечно, рекомендуется выставлять нечетное количество копий.
- у систем виртуализации присутствует программный интерфейс для доступа к RBD ceph, т.е. файловая система не должна поддерживать репликацию. в частности, мы сейчас используем openstack с kvm, у которого есть прямая поддержка rbd ceph.
- программные ноды и ноды хранения могут быть объединены; при этом, конечно, нужно иметь ввиду, что каждый object storage daemon (osd) требует 1GB памяти, и один физический диск - это один osd.
При этом, конечно, есть и минусы, и главный из них - это производительность. Хочется верить, что её оптимизируют со временем. Но надежность при этом гораздо выше, чем любые костыли из традиционных односерверных файловых систем и попыток организовать репликацию данные между ними.
