Программный Raid 5 + nwme cache?

Question

[Кирилл Ларин]

Доброго времени суток! У меня на сервере установлена операционная система Ubuntu 22.04 и я имею 4 жёстких диска по 2 терабайта каждый, а также 1 накопитель nvme емкостью 250 гигабайт. Скорость чтения одного жесткого диска составляет 208 мегабайт в секунду, а скорость чтения nvme 4600 мегабайт в секунду.

Мне интересно, как можно настроить рейд 5 и создать кэш на nvme? На сколько я знаю, с использованием mdadm не получится реализовать кэширование.

Comments

[Ivan Ustûžanin]

bcache наверное поможет, но только слышал что его как раз для такого и придумали, но не более

[hint000]

и создать кэш на nvme

Чем вам не угодил штатный кэш в оперативной памяти? Который есть "из-коробки" в любой операционке. А оперативка всё равно быстрее, чем NVME.
Нет, я понимаю, все мы любим иногда поизобретать велосипеды. Но интересно таки узнать цель.
Да и бросьте затею с RAID 5, стройте на mdadm RAID 10, либо два отдельных RAID 1 (в зависимости от характера использования) - и будет вам спокойное администрирование и уверенность в завтрашнем дне.
RAID 5 из 4*2ТБ - это больше для любителей лазать по скалам, прыгать с парашютом и гонять на спортбайке, т.е. таблетки от счастья против скучной жизни. Что само по себе респектуется, но только не в области сисадминства.

[RStarun]

hint000, это ж всего лишь 2tb. Зачем так сразу. С 10tb raid5 было бы стремно, а на 2 тб нормальные шансы на ребилд в приемлемое время.
Кеширование в память идет энергозависимое (если ram не энергонезависимый применяется), а с ssd будет энергонезависимое решение.

Схема рабочая, на большинстве СХД применяется кеширование на ssd. На некоторых raid контроллерах тоже. Тут только один косяк в схеме - ssd в единственном экземпляре, без рейда. Да и 250гб достаточно быстро забивается при таком массиве если нагрузка есть.

Answer 1

[rPman]

bcache отлично работает, как в режиме кеша только для чтения так и как дополнительный буфер для записей (writeback)
и это лучший способ способ сожрать ресурс записи ssd диска

у меня так на очень дешевых комплектующих работала следующая схема linux сервер, специально выделенные медленный hdd + 250гб ssd диск в качестве кеша, полученный ускоренный раздел публикуется с помощью iscsi по гигабитной сети, его монтирует windows машина и на этом диске размещены игрушки (ark будь он неладен 400гб с еженедельными обновлениями по 50-100гб), чуть больше чем за год сожрал 250тб ресурса. Итоговая скорость запуска была примерно в 3 раза быстрее чем если hdd подключить напрямую к windows машине.

Comments

[Кирилл Ларин]

Как вариант, сделать аппаратный raid и прикрутить bcache для скорости.

[rPman]

Кирилл Ларин, аппаратный рейд в данной схеме не нужен, точнее либо ты выбираешь такую железку, которая сама умеет кешировать данные на ssd, либо нефиг тратить деньги и vendorlock-чить свою инфраструктуру на производителя контроллера.

софтварные рейды отлично работают

Answer 2

[Сергей]

Поверх mdadm можно lvm, который умеет кешировать.
Готовые массивы с кешированием можно сделать на btrfs и zfs