Выбор DFS, какую начать смотреть?

Question

[Ingtar]

Доброго дня!
Планируется внедрять для нужд компании ДФС, хочу спросить совета в выборе направления (ДФС много, у всех + и -, тестирование всех будет очень долгим) для изучения.
Требование к ФС:
- Распределенность на небольшом кол-ве нод (гиганта из 30 серверов строить не будем. 2, 4 максимум. Дисковый объем до 40Tb)
- Хотелось бы HA (читал, что MooseFS мастер переопределяется руками. Не критично, но тем не менее)
- Гарантированность записи данных на ноды
- Без split-brain :)

Пока присматриваюсь к MooseFS и Ceph, но хотел бы спросить совета у опытных товарищей, кто уже такие цели решал. на данный момент NFS + rsync что не очень удобно. Но работает :)

Comments

[ldv]

Ceph не готова же еще для production

[Ingtar]

ldvldv: Сами они говорят что готова )

[ldv]

Ingtar: ceph.com/docs/master/cephfs предупреждение в красном прямоугольнике )

[Ingtar]

ldvldv: а я тут смотрел... https://wiki.ceph.com/FAQs/Is_Ceph_Production-Qual...
Может чего не так понял :)

Answer 1

[Армянское Радио]

Используем Heartbeat-Pacemaker-OCFS2. Очень приятна возможность делать reflink - снимок.
С момента reflink содержимое файла запоминается, а для сохранения измененных блоков используется copy-on-write. То есть у нас бекап > 20 виртуалок делается за пару секунд.

Работают 4 узла поверх FibreChannel SAN HP-EVA6000.

Про split-brain - как кворум настроите, так и будет приниматься решение об отправке кластера в ребут при падении компонента.

Все компоненты есть в Opensuse 13.2 и настраиваются мастером "из коробки". Без ковыряния в конфигах.

Comments

[Ingtar]

Спасибо, тоже посмотрю в ее сторону. Там сервера с данными, демон и мигрирующий ИП думаю? В случае миграции ИП на другой сервер перемонтировать нужно будет точки на клиентах?

[Армянское Радио]

Ingtar: там можно настроить колокацию ресурсов "гуляющий айпи" и "точка монтирования", тогда миграцию Pacemaker обеспечит сам.
Настройка делается при помощи веб-морды HAWK (входит в состав OpenSuse)
Но все эти плюшки доступны при использовании SAN - то есть когда устройства с OCFS доступны на всех узлах на блочном уровне ( у нас это FibreChannel, но можно и iSCSI забабахать)

[Армянское Радио]

Ingtar: кстати, вы думаете не правильно. OCFS2 работает общедоступными блочными устройствами и обеспечивает а каждой машине смонтированную POSIX - совместимую общую ФС. Там даже fmap работает - то есть на одном узле программа мапит файл, на память на втором узле - аналогично и первая программа видит все, что творит вторая программа. При 8 гигабитном FC это даже неплохо работает.

[Ingtar]

Насколько я понял, быстро пробежав описание системы - OCFS2 поднимается на 4 нодах, подключенных к общему SAN. Соответственно отказоустойчивость OCFS2 - средствами Heartbeat-Pacemaker, SAN - само по себе. Так?

[Армянское Радио]

Ingtar: Так.

В EVA6000 - два независимых контроллера по два порта FC в каждом, идут через два независимых свитча FC к блейд-рэку HP C3000. В каждой ноде (HP ProLiant BL460 Gen8) по два двухпортовых контроллера FC.

Сайзинг посчитан так, что даже если три ноды из четырех помрут, мы остаемся на плаву без потерь производительности.

Answer 2

[Supme]

Ceph. Системы виртуализации не поддерживают, может пригодится в будущем. Fujitsu свои системы хранения на ней сейчас начали выпускать. Нет мастера.

Comments

[Ingtar]

А Ceph Metadata Server разве таковым не является? Или он же располагается на серверах с данными, а кворум решает кто будет мастером сегодня?)

[Алексей Черемисин]

Ingtar: Метадата сервер нужен только для cephfs, если оно не планируется, то и не ставьте.
Supme: последние libvirt и kvm очень даже неплохо черех ceph работают!

[Supme]

Алексей Черемисин: 'не' лишнее, я хотел сказать обратное, что поддерживают...

[Supme]

И метадата может находиться на серверах с данными

Answer 3

[Алексей Черемисин]

Ceph + rbd + nfs + pacemaker. 4 ноды на ceph (118тб), две на rbd + nfs server + pacemaker, там же виртуалки kvm напрямую через librbd. Клиентами 15 серверов по nfs с сотней пользователей. Все ходит по инфинибанд qdr. Довольны, cephfs пока не планируем...
И да, не раздавайте rbd + nfs server с OSD-нод, оно виснет! Виртуалки c librbd и kvm на osd-нодах живут нормально, но мы от греха их убрали, да и памяти там на пределе (1 гиг на терабайт рекомендуется)
Да, до этого glusterfs пробовали, странное оно очень... А еще раньше жило gpfs покупное от интеллегентных бизнесмашин, но стоимость обновления на новую версию превысило все рамки разумного...

Answer 4

[abir_valg]

Тут рассматривают GLUSTERFS vs HDFS . По результатам тестов GLUSTERFS лидировал.

А что про нестабильность Ceph ?

Мой вопрос по теме.