Подскажите на тему Linux HA+shared storage?

Question

[skul]

Добрый день,
у меня появилась задача построить отказоустойчивый кластер с виртуальными машинами работающими в режиме failover. Кластер как хранилище должен использовать общее файловое хранилище.
По железу я буду иметь:
первая нода — 2xXeon5607, 24GbRAM, 4x2Tb(планирую raid10);
вторая нода — 2xXeon5404, 24GbRAM, 4x2Tb(планирую raid10);
сторейдж — XeonE31275, 8GbRAM, 16x2Tb(планирую raid10).
Нашел howto для построения failover кластера с гипервизором KVM alteeve.com/w/2-Node_Red_Hat_KVM_Cluster_Tutorial, в примере используются локальные диски и синхронизируются с помощью DRBD, который мне не подходит, т.к. у меня под хранилище будет использоваться отдельный сервер.
У кого есть опыт удачного построения кластеров с общим хранилищем? Меня интересует расшаривание md-дисков для двух нод, для общего использования.

Answer 1

[iavael]

Используйте для доступа к стораджу iSCSI/FC/SRP (первое, наверное, будет предпочтительнее). Если сторадж один (что, кстати, уже делает конфигурацию неотказоустойчивой), то рейд собираете не нем, а на хостах виртуализации поднимаете cLVM поверх инициированных по сети рейд-массивов/массива и выделяете виртуалкам уже LV-шки.
Советы использовать кластерные ФС пропускать можно сразу (GFS или OCFS), NFS еще туда-сюда, но в данный конфигурации преимуществ перед сырыми блочными устройствами нету, скорее наоборот, сплошные недостатки (меньшее удобство управляемости, больше слоев абстракции и накладных расходов).

И пара советов напоследок:
— прокидывать по iSCSI сами диски и собирать их в mdraid на хостах виртуализации — ПЛОХАЯ затея в данном случае. Mdraid не поддерживает полноценную работу с общим стораджем и более-менее функционировать будет только при отсутствии изменений в метаданных (т.к. нет поддержки конкурентной работы с ними), иначе (например, при ресинхронизации дисков после замены вылетевшего), чтобы не повредить его, придется разбирать все рейды кроме одного;
— полка в данной ситуации — SPOF. Если будете ставить вторую, то, либо использовать DRBD между полками (как это делает селектел), либо таки экспортировать диски с стораждей и собирать network raids на хостах виртуализации средствами mdraid (похожим образом делается в скалакси, только там применяются отдельные проксирующие узлы SAN для сборки рейдов).

Answer 2

[Alukardd]

У меня в планах такое есть, пока денег не железо не выделили(
Только хотел я это сотворить с использованием Proxmox. И не трогать DRBD, а хранить образа VM на хранилище подключенном как NAS по обычному NFS. IMHO, в таком варианте будет проще добавить 3-ю ноду.

Answer 3

[Hayden]

Proxmox, бесплатно, просто в настройке pve.proxmox.com/wiki/High_Availability_Cluster
Ну или KVM с каким-нибудь кластер менеджером вроде Eucalyptus, OpenNebula, OpenNode

Answer 4

[megazubr]

GFS или OCFS для такого решения и разрабатывались.