Как подключать диски в Proxmox?

Question

[garirobert]

Добрый день!
Установил на комп Proxmox (на отдельный HDD). Подключил к компу 5 HDD по 1 ТБ каждый, создал ZFS Raid1, получил 3,87 Тб дискового пространства.
На Proxmox поднял 2 виртуальные машины, на одном работает nextcloud, на другом OpenMediaVault. Виртуальные машины размещены на том же HDD, что и Proxmox. Цель - хранить пользовательские данные этих сервисов на рейд-массиве.
На рейд-массиве создаю виртуальный диск объемом 2 Тб для подключения к ВМ с nextcloud, этот виртуальный диск занимает 2,6 Тб пространства в рейд-массиве.
В итоге 2 виртуальных диска объемами 2 Тб и 900 Гб занимают в рейд-массиве почти все пространство.
Скажите, пожалуйста, можно ли как-то эффективнее использовать пространство рейда?

UPD. Решил вопрос так. Не стал создавать виртуальные диски. На хосте создал файловую систему (каталог) командой zfs create /. Пробросил ее в ВМ способом, описанным здесь: https://gist.github.com/Drallas/7e4a6f6f36610eeb0b...

Comments

[Drno]

зачем ZFS ? создаёте обычный рейд mdadm...
и для справки - крайне плохая практика делать хранилище на вирт диске... если что случится - будет очень сложно восстановить

[N]

OFFтоп

Пользуясь случаем...есть вопрос:

Есть у кого опыт по "сроку жизни" такого "пирога"?:

- 5 x HDD(прям старых капец) от 120ГБ до 500ГБ зафигачены в RAID 0 (mdadm)...получилось где-то в итоге 2ТБ;
- SSD на котором крутится Proxmox с этим "файловым хранилищем".

Включен 24x7. Живёт уже года 3...диски (некоторые) года выпуска 2000-х...

Вопрос:
Когда начинать бояться?:)

[VoidVolker]

N,

spoiler

эмм... В вашем случае если вы ещё не делаете бэкапы - то ещё 3 года назад и надо было начать бояться. А если делаете бэкапы - то просто надо быть готовым, что в любой момент времени на 1-5 дисков может стать меньше.

[N]

VoidVolker,

spoiler

Ну там данные не первой критичности)) Чисто ради интереса всё это дело живёт...там туча виртуалок...плюс домашний медиацентр Kodi...

Возможно выручают пару доп. винтеляторов на диски))

Вот и хотел узнать: у кого какой-опыт по RAID 0... :))

P.S.: Он же используется (как ни странно звучит) в качестве N'ой точки для бекапов... xD

[Wexter]

Drno, зачем устаревший mdadm если есть zfs?

[Wexter]

N,

spoiler

я однажды собрал RAID 0 из двух дисков 1тб, на следующий день произошёл сбой по питанию на одном диске и я потерял всё что там было. с тех пор RAID 0 использую только для поиграться с тестированием суммарной мощности дисковой подсистемы

[N]

Wexter,

spoiler

O_o

Как-то теперь срашнее стало...просто я и с "кнопки" тыщу раз вырубал его...)) И пофиг) Везёт значит)

[VoidVolker]

Wexter N

spoiler

Многое зависит от контроллера, дисков и их прошивок. Правильный контроллер нормально завершает работу ФС и дисков при отказе питания. А с ИБП еще лучше.

[garirobert]

Переформулирую вопрос. Как пробросить ZFS в ВМ не создавая виртуальный диск?

[Drno]

Wexter, зачем ненадежный ZFS если есть mdadm с etx4

[Wexter]

Drno, пруфы на ненадёжность будут?

[N]

VoidVolker,

spoiler

А с ИБП еще лучше.

У меня он рядом в тумбочке лежит...не подключен :D

[N]

spoiler

P.S.: Получется, как и в технике: хороший контроллер + охлаждение :)
Остальное - детали...))

По теме:

1. Сначала надо решить: насколько данные важны...и как и где потом будут использоваться...
2. Если, всё таки, важны, то - минимум - RAID 1, иначе - есть история выше :)

И по поводу, ZFS vs mdadm...ну, как бы, можете начать отсюда "холивариться":
https://www.linux.org.ru/forum/admin/13841584

[latush]

N, начинать боятся стоило в момент установки этой конфигурации.

[N]

latush, Это всё понятно - и не обсуждается :)
Я спрашивал в контексте "опыта"...вопреки "холиварам", получается, главное - уметь готовить...))

[latush]

N, RAID0 - это не про надежность в принципе, на нем можно держать только то, что держали бы на рам-диске

[N]

latush, RAID 0 = один жёткий диск.
Получается, почти, каждый "домашний" юзер ПК в зоне "риска"... :)

[aleks-th]

N, да.
Вероятность что диск сдохнет за гарантийный срок от 2-5%.(это я говорю примерно по 20000 хардам которые ставил лично когда работал на производстве на сборке массовой компов).
---
Каждый примерно 10-ый юзер из моих клиентов, хоть раз терял все данные по статистике. Потом те кто терял умные становятся и делают бэкапы... Но некоторых это ничему не учит и лет через 5-7 они теряют данные снова...
---
Видели бы вы сколько на фрилансах ежедневно слезных заданий типа хард помер данные потеряны нада восстановить желательно бесплтатно )))
И сколько людей их шлет лесом с такими хотелками....

По SSD статистика гораздо хуже но ее точно не знаю, так как давно не работаю на производстве... (из 20 мини компов Asus стандартных компов у моего клиента, за несколько лет сдохло 4 SSD диска, и кстати из 4 поставленных на замену один новый начал дохнуть через неделю его сразу вернули... тобишь из 25 - 5 дохлых это 20% что сильно хужее чем харды)

[N]

aleks-th,

spoiler

Спасибо за статистику)

А есть инфа из опыта по максимальной жизни обычных HDD ?
Имею ввиду не по гарантии, а просто прожил дольше всех...или живёт до сих пор с такого-то года...

У меня наверное там пару стоит года с 2003...

[aleks-th]

N, а тут как повезет.
У некоторых с 90-x до сих пор 1-2 гиговые диски работают.

Тут нельзя какую-то грань провести , при удачном сложении условий диск может и 10 и 20 лет проработать...
А может и сдохнуть без видимых причин, в неожиданное время

Как бы нужно всегда делать бэкап важных файлов и хранить его в другом месте, на другом устройстве, а в идеале и в другом помещении.

[N]

aleks-th,

spoiler

Ну тогда у меня больше 20 лет точно есть, как минимум, одному, гигов на 120...))
Вот из-за этого "малыша" весь остальной пирог - под вопросом каждую секунду...))

[pinkzebra]

garirobert, в vm только диски целиком или сетевую шару, в контэйнере можно папки с хоста подключать

pct set 777 -mp0 /имя пула/имя-папки,mp=/имя-папки
Где:

777 - ID контейнера.
-mp0 - внутреннее имя точки монтирования. Proxmox дает выбрать от mp0 до mp7.
/имя-пула/имя-папка - точка монтирования дисков в хостовой системе.
/имя-папка - путь в контейнере, куда будет примонтирован папка с хоста.
После выполнения команды запускаем контейнер, и папка видна в контейнере по пути /имя-папки.

Answer 1

[pinkzebra]

Оптимально pve на ссд 32гб, остаток ссд под cache нужно больше 64гб, Итого где-то 128гб
По организации дисков все ок так чаще и делают, если диски не шпиндельные то кэш не нужен.
Из рекомендаций
Можешь ручками нарезать для pve папочки под iso, бэкап, образы дисков системы на zfs pool, ну и попробуй контейнер для nextcloud, pmv на самом деле тебе в этом разрезе вообще не нужен, в случае контэйнера будешь подключать папочки zfs pool'а, внутрь контэйнера, в последствии, можешь наращивать подключаемые папки в контэйнере, наращивая дисками в зеркалах, нууу и у zfs в последней версии есть вариант zraid с наращиванием.
По итогу эффективнее использовать контэйнер подключая папки с физического пула в папки внутрь контэйнера

Answer 2

[SamDurak]

Чисто теоретически:
Создать ZFS пул. В том конфиге что тебе интересно. (ZFS RAID1 - это избыточность с отказоустойчивостью 1HDD, ZFS RAID2 - отказоустойчивость 2HDD, ZFS RAID3- отказоустойчивость 3HDD, всякие там кеши на SSD и кеши в ОЗУ)
Зайти в Datacenter->Storage->Добавить новое хранилище ZFS (разрешить сохранять Disk image)
На виртуальные машины выделять виртуальные диски из ZFS хранилища и использовать их в виртуальных машинах.

Comments

[garirobert]

Сначала я так попробовал, но засомневался, что если ХДД с ОС Proxmox сдохнет я вряд ли смогу что-то вытащить из виртуальных дисков. Решил вопрос по методу, описанному здесь: https://gist.github.com/Drallas/7e4a6f6f36610eeb0b...
Кратко: установил на хост и на ВМ virtiofsd, создал на ZFS файловую систему, передал ФС от хоста к ВМ, смонтировал в ВМ

[SamDurak]

Если RAID развалился то это конец не так важно где он развалился. Ни один RAID не обеспечивает 100% гарантию сохранности данных. Тут только резервные копии спасут. ProxMOX BackUp Server очень хорошее решение если брать в связке с PVE, то он даже интереснее некоторых коммерческих решений типа КиберБэкап.
Отказ одного/нескольких дисков в рамках предусмотренной отказоустойчивости не приведёт к развалу RAID`а. т.е. если у тебя 5 дисков и ZRAID1 то при отказе одного из дисков, после добавления нового произойдёт ребилд и данные будут доступны.
Общие правила построение RAID это диски одного размера, +/- равной производительности, из разных партий возможно даже от разных производителей - это базово нужно чтобы ресурс дисков не закончился в один момент. Многие "российские производители" промышленных систем не в курсе что винчестеры из одной партии могут умереть с разбежкой в неделю чего может не хватить для оперативного ребилда RAID`а.
Чуточку теории надёжности: если у тебя 5 HDD, каждый из которых с вероятностью примерно 3-5% выйдет из строя в течении пяти лет (увы современная статистика =( ) будем оптимистами возьмём вероятность отказа в 3%: 0,97*0,97*0,97*0,97*0,97=0,8587340257 т.е. вероятность отказа RAID 14,12% другой момент что отказ одного из дисков не приведёт к потери данных.
ОС ProxMOX Это Debian 12 если что =) с предустановленным ProxMOX и изменённым инсталлятором.

Answer 3

[elbrus56]

Скорее всего проблема в Block Size, который указан в настройках конкретного Storage в PVE. В интернете есть отдельные статьи на эту тему. Это связано с особенностями ZFS: когда пишется блок данных, вместе с ним пишется еще и другая информация. Простейший способ – указать размер Block Size больше. Во вложении табличка с примерами потери пространства в зависимости от количества дисков в RAIDZ1 и размера блока

И да, это не баг, а фича.

Изменить размер блока для существующего виртуального диска нельзя.