ZFS + аппаратный RAID?

Question

[kyprijan]

Приветствую, есть сервер с аппаратным RAID контроллером, с 4 HDD и одним NVMe, не знаю как это все сконфигурировать чтобы было и безопасно (нужна избыточность по тому что будут храниться важные данные) и быстро (не хочу оставлять NVMe без дела). ИБП отсутствует.
На сервере будет несколько виртуальных машин на Proxmox, одна из них под веб сервер.
Вижу 2 выхода:
1) Построить все на ZFS без аппаратного RAID и включить кеширование на ssd (нет опыта работы с ZFS опасаюсь этого варианта)
2) Создать аппаратный RAID подключить его к ZFS и включить кеширование на ssd (говорят что такое не желательно)
Что бы вы посоветовали? С учетом низкого уровня знаний обслуживающего это все человека.

Comments

[RStarun]

А разве для нормальной работы ZFS не нужно переключать контроллер в режим IT (HBA)? Если контроллер поддерживает такой режим, то можно рассматривать ZFS, если нет, то нечего и думать.
Ну и если нет знаний у обслуживающего человека, то вариантов нет кроме как поднять raid 10 из HDD и использовать только его.

Answer 1

[Армянское Радио]

чтобы было и безопасно

ИБП отсутствует.

С учетом низкого уровня знаний обслуживающего это все человека.

Несовместимые требования.

Никакой вариант не лучше. При хранении важных данных нужно не рейды накручивать уровень на уровень, а разворачивать верифицированные бекапы по расписанию.

Answer 2

[Drno]

в жопу ZFS
сделать обычный mdadm виртуалку вынести отдельно на ssd

Answer 3

[rPman]

У тебя варианты
за кеширование пусть отвечает:
- ZFS, будет доступно только режим на чтение
- bcache - создается блочное устройство, которое в свою очередь уже форматируешь под желаемую фс, будет доступен режим кеширования записи (опасно, при смерти ssd потеряешь данные, я экспериментировал, убил два ssdшника за пару лет в таком режиме, в момент смерти файловая система повреждается, ос подвисает, так как часто ssd-шники в режиме чтения после этого еще работают, данные в основном вытаскиваются, но время на восстановление я тогда потратил), настоятельно рекомендую при использовании кеширования записи bcache, ssd брать два в режиме raid1 mirror

за RAID:
- отдать на откуп управление raid на ZFS, получишь максимальную гибкость (операции ребалансировки не будут затрагивать незанятое данными место)
- отдать RAID на откуп mdadm
- (не вариант, не делай так) организовать RAID на основе аппаратного контроллера в материнской платы, кешированием так же занимается ZFS
если raid контроллер не имеет своей оперативной памяти с аккумулятором для сброса этой памяти на диск в момент потери энергии, то выбирать такой рейд контроллер нет никакого смысла, а вот проблем будет тьма, особенно в текущей ситуации с проблемами с поставками, так как аппаратные рейды привязывают массив к вендору, и при смерти контроллера/материнки у тебя будет проблема с извлечением данных (это реально но долго и сложно)

p.s. можно выбрать btrfs, по функционалу, чуть хуже (нет онлайн дедупликации, но много ли ее включают дома на zfs, ведь это потребует прилично оперативной памяти), нет встроенного ssd кеша но есть онлайн патчи между снапшотами за счет которых можно построить неплохую систему инкрементальных бакапов с максимальной производительностью (можно делать бакапы хоть ежеминутные, лучше объединить с рабочим софтом, чтобы он управлял моментом создания снимка) с отправкой инкрементальных патчей на стороний сервер (где их тут же можно и развернуть для мгновенного переключения на этот сервер при смерти основного)

Answer 4

[Пума Тайланд]

Рекомендовал бы не использовать зфс если не умеете
Не использовать зфс если у вас существенные нагрузки на диски, он медленный

Answer 5

[elbrus56]

В вашем случае ZFS вам производительности не прибавит.

Сделайте RAID 10 на 4 HDD, если нужна отказоустойчивость. Систему можно поставить на nvme.