Какой raid лучше под zVirt?

Question

[Вася Пупкин]

Приобрелось 2 сервера для кластера zVirt (а может будет еще 1) с параметрами 6 ССД дисков под систему и порядка 20-ти SAS под хранилище, где собственно будут крутиться виртуалки.
На первый взгляд первое, что приходит на ум - это везде сделать raid10.
1. Из 6-ти SSD, туда поставить zVirt
2.Из 20 SAS и это будет хранилище и место хранения жестких дисков VM

Нужно ли что-то менять в плане надежности выхода из строя дисков в рейде? Или во втором нужно делать raid60?

Comments

[Кот Абсолютный]

Не меньше двух под хотспар и еще парочку в стол в холодный резерв. Ну и никакой raid не спасает от краша файлухи - как показала практика.

(raid10, ESXi, пропадание питания, часть виртуалок, что в это время работали перестают запускаться - система видит файлы, но не все, а те, что видит - не хочет в них писать. Поскольку fsck для vmfs нет, пришлось уносить машинки на другой хост, убивать стор и создавать заново...)

[Вася Пупкин]

Кот Абсолютный, бекапы будут само собой, снапшоты и все такое. Резервные диски под замену тоже.

Про Хотспар погуглю, спасибо.

[Кот Абсолютный]

Вася Пупкин, Смысл хотспара в том, что когда контроллер считает, что диску кранты, он не ограничивается тем, что орет "мужик, у меня тут пипец!", а сразу выводит диск из работы, а вместо него в работу включает хотспарник и стартует процесс ребилда, который на больших массивах небыстрый.
Ты приходишь и видишь не просто алерт, что диску кранты, а что диску кранты, он выведен из работы, подключен хотспар, идет ребилд.
Тебе останется выдернуть сдохший, поставить на его место диск холодного резерва, проинитить его, обьявить хотспаром, а сдохший - либо по гарантии на замену, либо в помойку.

[Вася Пупкин]

Кот Абсолютный, Спасибо почитаю более подробно. Это под каждый рейд такое можно сделать? Или это отдельная настройка системы?
Получается мне под основу из SSD надо из 4-х сделать 10 рейд а оставшиеся 2 в хотспар, такая логика?
Тоже самое и с данными.

[Кот Абсолютный]

Вася Пупкин, Это от контроллера зависит. Обычно есть global hotspare, которые работают на все рейды, созданные на данном контроллере и local hotspare, которые действуют только для данного рейда. Если возникла жопа и в local hotspare пусто, котнроллер смотрит global hotspare.

[Pb_hard]

Смотря для чего вы делаете RAID.
Непонятны задачи для которых вам нужен RAID и что вы хотите получить в итоге.
Без этого невозможно посоветовать тип и конфигурацию RAID.

[RStarun]

Начните с тех требований под свою планируемую нагрузку. От требований будет зависеть решение по рейдам. Ибо R60 это потеря порядка 20% емкости и скорость записи примерно x2. А с R10 будет потеря емкости 50%, но скорость записи x9.

Плюс в некоторых конфигурациях вы можете использовать SSD tiering или кеширование. Это если диски серьезные. Диски которые указали 6 и 20 это делим между серверами или это в каждом по столько? Рейд контроллер аппаратный или HBA? Диски SAS или NL SAS? Емкость SAS дисков? (если более 10 тб то ребилд может быть ооочень долгим)

Поймите сколько и каких данных вы планируете хранить, какие скорости, резервирование вам требуются, уже потом будет понятно как диски разбивать.

Answer 1

[ky0]

Какой смысл делать виртуалочный кластер, если у вас хранилище не общее? А если общее - почему бы не сделать какой-нибудь Ceph, которому как раз рейд противопоказан?

Comments

[Вася Пупкин]

Спасибо, пока что сложно и непонятно, но почитаю о чем речь.

[Вася Пупкин]

@kyo А СХД нет, потому что пока без него на первое время, возможно в будущем будет.
И что значит противопоказан рейд? Как тогда СХД должно будет работать без рейда чтоли? Разве СХД покупается не для этого? У тебя кластер zVirt, а жесткие диски диски всем ВМ крутятся на СХД, которое подключено условно по iscsi в каждую ноду. И на СХД само собой диски в рейде.

Или я не так понял?

[ky0]

Вася Пупкин,

Раз СХД нету, нужно понять, чего вы хотите от кластера - обычно хотят возможности мигрировать виртуалки между узлами без простоя. Это делается с помощью единого хранилища - либо на СХД, либо на распределённом блочном устройстве, примером которого является Ceph.

Просто размазывать по серверу диски можно в любом рейде, в зависимости от упоротости. Могу только сказать, что 5, 6 и их производные на HDD - плохая идея.

[AntHTML]

ky0, Ceph выгоден когда делается серьезный кластер нод на 10 минимум, т.к. для цепша в добавок нужны свои управляющие ноды.
Для среднего энтерпрайза достаточно классической схемы 3+2 (3 ноды виртуализации и 2 схд)
Причем в настоящее время SAN проще поднять на 10G iSCSI даже на базе б/у-шных серваков в качестве стораджа

[Sergey IT]

ky0, Позвольте вклиниться, щас планирую что-то похожее, но пока на этапе зародыша. Отличный повод для консультации.
Если не брать во внимание Ceph, то по классике правильно ли я понимаю, что схема такая:
3 сервера (оно же 3 ноды) операционка (она же zVirt) ставится на SSD (или NVMe) в зеркале. Далее в настройках виртуализации мы подключаем отдельно стоящее СХД по какому нить iscsi в каждый из 3-х серверов. На СХД диски в raid10 или в каком-нить своем если это Huawei OceanStore.
Все виртуалки, которые будут подниматься, будут размещаться как раз на этом хранилище и если нода крякнет, то это все поднимается на одной из оставшейся, верно?

[ky0]

Sergey IT, три ноды - это минимальный вариант для бедных (рано или поздно же вы будете проводить обслуживание узлов по очереди). Лучше, конечно сразу 5 или 7.

ОС ставится на пару любых дисков в зеркальном рейде (плюс spare-диски, опционально). Виртуалки - на СХД, подключенном ко всем гипервизорам. Если гипервизор ломается - вы можете практически мгновенно поднять виртуалки на оставшихся, автоматически или вручную.

[Sergey IT]

ky0, Понял, спасибо, примерно так и думал.

Answer 2

[AntHTML]

В серверах виртуализации классическим и достаточным местом размещения системы является RAID1 из 2х SSD. В последнее время чаще всего NVME на програмной рэйде самого гипервизора, чтобы не тратиться на аппаратный контроллер.
Также для любого кластера, для нормальной работы кварума - крайне приветствуется нечетное количество, ну или на крайняк - внешний арбитр
Сторадж - на 2 внешних зеркальных ноды - на них массив из сколько не жалко потерять места: можно и 0 и 5 и 10 и strep, а еще лучше - несколько лун с разными уровнями (сча даже операционки свободных nas умеют в так называемые "гибридные массивы")