AMD EPYC NVMe RAID — решение?

Question

[Сергей]

Сталкивался ли кто с необходимостью создать RAID из NVMe на платформе для AMD EPYC?
Как сталкивались и решили, можете поделиться проверенным решением?

Краткое описание.
Планируем сервер на двух AMD EPYC Milan, платформа - Supermicro 2024US-TRT
https://www.supermicro.com/en/Aplus/system/2U/2024...
12 hot-swap 3.5 "Drive Bays
планируем распределить следующим образом
8 SATA3 @ Broadcom 9361-8 for SATA RAID
4 NVMe via optional tray @ Broadcom 9560-16i Tri-Mode RAID
RAID для NVMe хочется, чтобы надежнее было.

Коммутация для NVMe:
2x 05-60007-00 Broadcom Cable, Slimline SASx8 (SFF8654) -to- Slimline SASx8 (SFF8654) + SFF9402, 1M

Решение в optional parts list, приведенное на странице платформы
AOC-S3916L-H16iR-32DD - 16 int 12Gb / s ports, x8 Gen4, ROC - LP, 32 HDD w / exp, RoHS
1x CBL-SAST-1264F-100 Slimline x8 (STR) to 2x Slimline x4 (STR), FFC, 64 / 64CM
1x CBL-SAST-1265F-100 Slimline x8 (STR) to Slimline x4 (STR), 64CM, 100 OHM, RoHS
не предполагает организации RAID из NVMe.

Кто-нибудь что-нибудь подобное пробовал?
Работает?

Answer 1

[Melkij]

Программный linux raid.
Что помимо простоты будет ещё и работать быстрее. Без шуток. Хорошим SSD упереться в производительность аппаратного RAID контроллера не так уж сложно.

Answer 2

[Drno]

Согласен с Melkij . Программный Linux-raid. И быстро и надежно и работает с любыми дисками. вытащить в любой момент можно и воткнуть на другое железо)
На обычной мат плате с похожим процом работает всё на ура

Answer 3

[Сергей]

Хотелось бы аппаратное решение.
Хотя бы потому, что программный RAID не увидится в BIOS как загрузочное устройство. А он должен быть именно таким.
Если я всё правильно понимаю, конечно. Читал про mdadm - и вот его не видит BIOS.

Comments

[Drno]

Биос видит диски. И видит загрузчик на дисках же...
Зачем ему видеть там загр устройство целиком? Тем более если при райде грузиться можно с любого из 4х...
У вас же raid10 предполагается на ссд?
Почему он должен быть именно таким?

[Сергей]

Drno, RAID 10 - верное предположение.
Именно таким - имел в виду загрузочным.
Не рискну рекомендовать делать RAID 10 средствами гипервизора VMware.

К тому же, судя по
https://qna.habr.com/q/597917
получается, если дохнет диск, на котором загрузчик, массив разваливается.
Поправьте, если не так.

Answer 4

[Potapov_Ilya]

AOC-S3916L-H16iR-32DD - обычный RAID контроллер, не поддерживает NVME.
9560-16i - поддерживает NVME, см. профили в мануале на сайте Broadcom (https://docs.broadcom.com/doc/MR-TM-SW-UG).
RAID (Profile name - PCIe4) - This profile supports a maximum of 64 virtual drives and a maximum of 4 NVMe drives.
RAID (Profile name - PD64-PCIe4) - This profile supports a maximum of 64 physical and virtual drives and supports a maximum of 4 NVMe drives.
JBOD (Profile name - PD 64-PCIe8) Flexibility for 64 total SAS/SATA/NVME drives. Maximum of 8 NVMe drives. Maximum 64 WT Virtual Drives. RAID (0, 1, 10 only).