Как лучше реализовать ФС — фото- и видеохранилище?

Question

[Hydrafirelol]

Есть необходимость в организации файлового сервера с целью хранения большого количества фото- и видеоматериалов. На двухконтроллерной СХД (active/active) создано две группы RAID 7.3, объем каждой ~80 ТБ: первая — в полуархивном режиме работы будет с редким доступом на чтение, и с еще более редким на запись в малых объемах; вторая — в активном использовании. Предоставлять доступ собираюсь посредством ВМ на Linux. Суть вопроса: какой вариант лучше и почему?

1. На СХД создаются LUN и монтируются по iSCLI к ВМ Linux, дальше форматируются в ext4, и организовывается файловая шара.
   
2. На СХД создаются LUN и монтируются к гипервизору, дальше форматируются под файловую систему гипервизора, создаются виртуальные диски, подключаются к ВМ Linux, дальше форматируются в ext4, и организовывается файловая шара.
   

Вариант 2 удобен в плане возможных миграций ВМ/виртуальных дисков, но имеет многослойность в реализации — сильно ли это скажется на производительности?

Comments

[RStarun]

Что мешает провести тестирование?

Я бы выводил инфраструктуру отдельно, ВМ отдельно.
То есть вариант 2. Таким образом мы не пускаем ВМ (к которым имеют доступ юзеры) в инфраструктуру (сети SAN).

Из плюсов - все плюсы виртуализации. Понятное и прозрачное создание бэкапов ВМ, миграция ВМ на другие хранилки и сервера, универсальность (если у вас в парке есть другие ВМ, то все подходы аналогичны).

Из минусов - просадка по скоростям. Любая виртуализация этим страдает, но всех это устраивает. Лучше заранее провести тестирование скоростей с хоста и из ВМ, чтобы понять насколько проседаем.

Answer 1

[AntHTML]

1. Предпочтительней - проще работать из виртуалки сразу с хранилищем
2. Если планируется на луне хранить не только эту виртуалку
А что мешает миграции в первом варианте? Виртуалка переедет на другой хост вместе со старым таргетом и оттуда также к нему приконнектится, если нужно перенести (увеличить) таргет - то просто его перемонтировать к линю.

Comments

[Hydrafirelol]

На выделенных LUN-ах будут исключительно фото/видео материалы. ВМ на отдельных LUN, возможно даже на отдельной СХД будет.

Answer 2

[VoidVolker]

Можно даже взять специализированный дистрибутив для создания NAS с кучей дополнительных фич и возможностей. Типа TrueNAS на Debian или XigmaNAS на FreeBSD.

Comments

[Hydrafirelol]

Имеется ввиду вместо базовой ВМ на Linux использовать готовое решение truenas scale или truenas core ?

[VoidVolker]

Hydrafirelol, да, верно. Если на железке других задач для виртуализации нет - то можно сразу ставить ОС на железо. Все конфиги там эскпортируются/импортируются/бэкапятся без проблем - так что в виртуализации нет особой необходимости.

[AntHTML]

VoidVolker, Если там именно сервачный сервак, то смысла ставить truenas на железо нету (ему в такой конфигурации 4гб оперативы выше крыши, если контейнеров на верх не мутить)
А вот за NAS-овскую операционку вместо голого линукса плюс. Т.к. там почти из базы можно настроить timescale - автоматический экспорт данных из датастора на ssd на датастор на sas и потом на датастор на sata по промежуткам времени неиспользования

[Hydrafirelol]

Сетап в целом такой под эту задачу (кластер виртуализации со своими отдельными СХД - на кластере ВМ с Linux в качестве FS или ВМ TrueNAS Scale, к этой ВМ по iscsi мапятся lun-ы располошающиеся на отдельной СХД на которой реализовано два raid 7.3 массива, разбитых на несколько lun.

Если смотреть в сторону TrueNAS scale, то он тоже будет в качестве ВМ, ибо отдельный сервер выделять под эту историю нецелесообразно, да и попросту все сервера уже все в боевом режиме с установленными гипервизорами.
Я когда-то уже игрался с truenas scale, вроде даже понравилось в целом, но почему-то (уже не помню) в прод не запустил.
Тут еще вопрос если в качесте хоста, который управляет файловой шарой/архивом использовать вариант с truenas scale, можно ли отказаться от доп. форматирования в zfs подключенных по iscsi lun ? Мне просто запомнилось тогда, что truenas scale исключительно работает или мастхев должен быть на zfs ...
А так как на СХД у меня уже реализованы raid 7.3, сверху городить zfs - это какая-то "дичь".

[AntHTML]

Hydrafirelol, а что вообще за схдшка? мож с нее проще сразу файлы по sbm отдавать чем через луны, или по доступам не вытянет?

[Hydrafirelol]

AntHTML, должна вытянуть, там двух головая (два сервера) система на Raidix, но коллеги отговаривают от данного варианта, аргументируя тем, что это плохо работает...но самый главный минус соответственно СХД нужно переводить в режим NAS и тогда теряются фишки блочного доступа и с нее уже под другие задачи не поюзаешь LUN-ы и т.д. будет тупо большая файловая шара...

[RStarun]

Вообще не понятно зачем там городить еще одну NAS если уже есть нормальная SAN.