RAID-контроллер HBA H240 скрывает все тома, если хотя бы один диск не подключён. Это нормально?

Question

[Григорий Бондаренко]

День добрый, коллеги!
На предприятии в сервере работает это чудо: HPE HBA H240. Работает вроде бы хорошо, но есть вопросы. Вот сейчас на тестовой машине с таким же контроллером играюсь и вижу странное поведение: если отключить один из дисков (которые в зеркале) и попытаться запустить сервер, то окажется, что ни один диск недоступен (не отображается в О/С), а Smart Storage Administrator пишет, что мол:

"Critical Status Message(s). Bay 6 is bad or missing. To correct this problem, check the data and power connections to the physical drive."

А ssacli выдаёт ещё более интересное предложение:

One or more physical drives in array <0ID> on the cache module has been moved, are missing, or have failed. To correct this problem, restore the configuration to its original state or delete the array and save your configuration.

То-есть, если у меня внезапно вышел со строя один из накопителей, то у меня сервер полностью ляжет при следующей перезагрузке, и у меня будет только два варианта:
1. Найти подходящий запасной диск;
2. Удалить проблемное зеркало, потеряв данные на нём, тогда остальные тома станут доступными.
И у меня возникает вопрос: а в чём тогда смысл зеркалирования? По-идее, контроллер должен подтянуть все тома даже если у каждого зеркала отвалится по одному диску. Разве не в этом смысл зеркалирования? А если у меня не будет под рукой подходящего накопителя? А если дело будет в Новый Год?
Может это поведение где-то настраивается? Поделитесь опытом/мыслями.

Answer 1

[Saboteur]

С этим контроллером не имел дела, но странно что не стартует.

Но при включении компа в адекватном контроллеры обычно выборы такие:
1. Стартовать ОС как есть, с одним диском, (игнорировать что второй вылетел)
2. Вставить новый диск, запустить c ним ребилд и запустить ОС уже после ребилда.
3. Вставить новый диск, запустить ребилд в фоне, и сразу запустить ОС. Обычо настраивается процент ресурсов, который можно использовать на фоновую задачу ребилда.
4. Если рейд поддерживает hot spare, он может быть настроен так, чтобы при сбое одного из дисков, зеркало автоматически запускало ребилд на тот диск, который указан как hot spare

Удаление информации о рейде раньше обычно означало переформатирование диска.
То есть конвертнуть диск из рейда в стенд элон с сохранением информации, штатные утилиты рейда раньше не поддерживали, даже если там разница только в бутсекторе. Может быть сейчас уже не так.

Поддержу Алексей Черемисин - софтрейд сейчас вполне норм, и хардварный рейд обычно нужен только для hi-end решений, когда на железке есть и свой большой кеш и батарейка и процессор, который будет все это решать там хороший стоит, и обычно хардварный рейд для решений из большого количества дисков, с корзиной для них.

Comments

[Алексей Черемисин]

Ну, по стоимости владения "хороший аппаратный рейд с кешем, корзиной, батарейкой, flash, гусарами и куртизанками", уже тянет на распределенный кластер CEPH, который обычно выигрывание и в композиции и удобстве, и зачастую в скорости...
Ну а так, да, хотим удобства - покупаем, покупаем и покупаем :)

[Saboteur]

Алексей Черемисин, Да в общем-то все зависит от задач. Кластер не всегда нужен, выход в интернет может быть наоборот категорически не нужен.
Берешь корзину на 20 винтов, и вот в материнку такое уже не влезет. Есть конечно материнки, где на борту можно найти и 10 и вроде даже 14-16 сата, но 20 - имхо перебор, вдобавок уже не особо верится что 20 винтов будет нормально менеджится софтварным рейдом. А на фоне винтов и корзины, стоимость хардварного рейда уже более-менее теряется.

[Алексей Черемисин]

Saboteur, правда ваша, тут и сказать нечего.
Ну а по поводу 20-и винтов, и не влезет :) https://www.supermicro.com/en/products/system/2U/2...
Заказали, ждем-с :)

Answer 2

[Алексей Черемисин]

Чтобы происходила автоматическая починка RAID нужно плюс один диск (но все зависит от конкретной конфигурации).
Этот дополнительный диск обычно называется Hot Spare. И при вылете одного из дисков массива происходит автоматическая подмена выбывшего диска на этот.
Во всех остальных случаях, да, имейте ЗИП и подменяйте ручками :)
Ну или отказывайтесь нафиг от железки и делайте программный RAID, что я и практикую последние лет 20. Ибо, не только не поднять, но и полный швах происходит, если сгорел сам контроллер, а под рукой нет какого-же аналогичной марки. Что всем и советую. (только не нужно гнать про "скорость", iops, разгрузку процессора и прочее, не нужно, ибо железо правильно подбирать надо)

Comments

[Григорий Бондаренко]

Программный RAID хорошо, но у меня есть вопросы:
1. Умеет ли он делать ребилд в низком приоритете, чтобы восстановление нескольких терабайт HDD-зеркала не остановило работу с данными на полдня? HBA H240 умеет, там эта настройка называется "Rebuild priority" (или как-то так).
2. На сервере нужен не только RAID, но и система виртуализации. Если рассматривать программный RAID, то Hyper-V отпадает. Какую систему тогда посоветуете? Сколько она стоит? (Hyper-V бесплатен, если на нём крутятся виртуалки с Windows Server)
3. Умеет ли система виртуализации пробрасывать PCI-E устройства внутрь виртуальной машины? Hyper-V умеет, благодаря чему можно, например пробросить USB-порты сервера, назначив виртуалке целый USB-контроллер.

[Алексей Черемисин]

Григорий Бондаренко, Будете удивлены, но;
1. да, soft raid умеет делать ребилд в фоне и на низком приоритете
3. да, система виртуализации умеет прокидывать внутрь и USB, и SR-IOV, и многое другое, причем я это сам все прокидываю регулярно, начиная от сетевых адаптеров (в том числе и infiniband), и заканчивая даже адаптерами последовательных портов, не говоря уж про USB донглы.
2. а вот ответ на этот вопрос вам наверное не понравится - Linux + KVM (libvirt)

[Григорий Бондаренко]

Алексей Черемисин, интересно! Ещё пара вопросов, если Вас не затруднит:
4. Умеет ли KVM завершать работу Windows внутри виртуальной машины?
5. Как Вы обновляете Linux+KVM, как часто, вручную или автоматически по расписанию? Спокойно ли Вы спите во время / после очередного обновления, не беспокоитесь ли о том, что обновление что-то поломает и завтра виртуальные сервера будут лежать? У меня Hyper-V обновляется раз в неделю с ночной перезагрузкой, и я сплю спокойно :)

[Алексей Черемисин]

Григорий Бондаренко,
4. Да, умеет
5. Нечасто, обычно, если есть критически важные заплатки (раз в пол года), обычно в ручном режиме, через ansible
О, да, сплю совершенно нормально.
- ибо это не виндовс, и так часто его обновлять не нужно.
- развернут CEPH, и миграция виртуалки с хоста на хост занимает пару секунд в горячем режиме (без ее перезагрузки)
- ну и система мониторинга говорит, что некоторые виртуалки уже без перезагрузки два года
Вообще-то, аптайм серверов обычно около 6 месяцев.

Answer 3

[Григорий Бондаренко]

Я повторил эксперимент, но в этот раз выдернул SATA-кабель во включенном состоянии, прямо во время работы. Система продолжила работу, как ни в чём не бывало (как и должно быть), все тома, включая деградировавший, остались доступными. Затем я перезагрузил компьютер, но ничего не изменилось: все тома доступны. Значит, контроллер блокирует тома только в том случае, когда диск отваливается в выключенном состоянии. Ситуация крайне маловероятна, но всё же возможна: если диск выйдет со строя в момент очередного запуска, то получим отвал всех томов. Ну, что же, буду иметь ввиду.

Comments

[Алексей Черемисин]

Ну да, ну да... А еще по непонравившемуся вдруг состоянию SMART контроллер может диск выкинуть :)
И это конечно Вы зачетный "эксперимент" провели, хотя SATA разъем и позволяет такое, но не все диски такое переваривают, особенно SSD , и особенно во время записи!