Как настроить раид и кеш для приватного файлового сервера?

Question

[BlinCT]

Всем привет.
Хочу дома поставить домашний сервер, использовать как облако и храниение медиоконтента чтоыб с него в дороге что-то смотреть или слушать.
Использовать будет 3-4 человека.
С начала думал в сторону готовых NAS продуктов, но понял что на большое количество дисков не вариант и решил сам собрать.
Суть вопроса: как я понял использует народ для более быстрого чтения и записи промежуточные ssd(nvme) диски в качестве кеша и плюс все записит от типа раида, может кто подсказать ан этот счет?
В планах 16Тб плюс под систему и кеш.

Answer 1

[Saboteur]

Готовый НАС продукт обычно включает хардварный рейд контроллер, у которого есть своя кеш память для ускорения чтения и записи.

Настроить ssd диск, чтобы он использовался как кеш наверное технически как-то можно, но сомневаюсь, что это легко или удобно сделать.
Опять же, зачем вам для 3-4 человек делать прям большое ускорение чтения и записи? Частично это может сделать сам рейд, с другой стороны на современных sata дисках, скорость может упереться в сеть, а не хранилище. Тем более что у вас просто приватный файловый сервер, где чтение и запись в основном линейное, в отличие от активного использования баз данных.

Мой совет - не париться про кеширование.

Comments

[BlinCT]

По поводу сети, я думал воткнуть 2 сетки гигабитные по 2.5 и вроде как понял что скорость норм будет если будут что то большее считывать из него.
Да вы правы, у меня будет приватный сервак а не база данных, но мне кажется если например кому то захочется глянуть фильм что размером в 50Гб то тут без кеша будет тупить по страшному, но я не уверен, это моя теория.
И может вы посоветуете на счет раида, 5 или 50? А где то и про 6 советуют

[pumpkinm]

BlinCT, 50 ГБ фильм — это 7 МБайт в секунду, ничего тупить не будет. И для киношек-музыки надежность особо не нужна, всегда можно перекачать. Так что тебе не нужны ни RAID, ни кэширование, ни 2 х 2.5 ГБ.
Просто поставь какой-нибудь OMV или XigmaNAS и используй LVM.

[Saboteur]

BlinCT, Проблема девайсов типа распберри, что я например не знаю какая там пропускная способность шины. То есть устройство должно считать с диска и отправить в сетевушку (траффик между cpu, памятью, интерфейсом сата, сетевушкой должен не сильно блокировать друг друга и быть достаточным, чтобы успевать передаваться)
А то считать скорость отдельно сетевушки, отдельно диска без того чтобы понять как работает то, что их связывает - нельзя.
В остальном если девайс справляется, то нагрузка там минимальная

[CityCat4]

обычно включает хардварный рейд контроллер

Synology/QNAP - точно не включает. Там железка тощая, как голодная собака и массив собирается через md - это запросто видно, если егойный dmesg посмотреть.
В серьезных продуктах - может быть, но я их не щупал. Да и для дома серьезный продукт дорого будет.

[Saboteur]

CityCat4, То есть не включает? Там же своя железка. То что она не специализированная, и не заточенная под рейд (а собственно как ее можно заточить?) не мешает переложить заботу о рейде с главного CPU на эту тощую железку =).
Ну и соответственно там есть оперативка, которая кеширует IO, то есть собственно еще один кеш, который берется не из оперативки основного компа

[CityCat4]

Saboteur, Разбирали когда-нибудь synology? Там мать, похожая на дишманские компы начала нулевых и (иногда) два-три слота под память, похожие на ноутбучные. Откуда там специализированный контроллер? Там внутри обычный линух, по логу загрузки видно, что рейд собирается на md

[Saboteur]

Разбирали "специализированные контроллеры"? Там мать похожа на дешовые компы начала нулевых и простой чип, мощности которого плюс-минус хватает считать рейд5 со скоростью интерфейсов.
Вся суть хардварных контроллеров - снимать задачу с основного процессора, но вычисление контроля четности это очень простая операция, для этого достаточно одного ядра с адекватной частотой.

[RStarun]

Saboteur, Synology/QNAP NAS не включает в себя аппаратных raid контроллеров. По крайней мере те модели которые мне попадались. И корп версии тоже включают в себя обычно HBA, то есть решение построено на программном рейде.

Но работает из коробки и не нужно ничего выдумывать, настраивать, читать, мучать себя.

[RStarun]

BlinCT, так то мысль хорошая. Если бюджет позволяет.

- 2,5 гигабитные коммутаторы уже есть или просто в планах?
- кеш при чтении фильма не поможет, т.к. чтение все равно будет с медленного диска. Вот на запись кеш может помочь.
- на такую хранилку было бы неплохо накатить plex или jellyfin.
- ОС и приложения лучше на ssd ставить. И уже программным рейдом собирать массив из hdd.
- сейчас странная ситуация. Стоимость hdd улетает в космос, а ssd дешевеют. Возможно, уже можно собирать массивы Raid 5 из емких SSD бытовых. Скорость в разы выше, деньги почти те же, надежность выше если учесть что hdd - SMR. Это если данные большую часть времени просто лежат и не перезаписываются постоянно.

Уже посоветовали freenas/truenas - поддержу.
Можно еще навернуть ZFS (она позволит кеширование, дедупликацию), но будет значительно сложнее, требования к железу выше и ломучесть... Наверное оно того не стоит под видосики.

[Saboteur]

RStarun, Что я имел ввиду, это то, что если ты строишь рейд на NAS, то неважно там специальная железка или неспециальная. В любом случае рейд будет делаться силами не CPU твоего компа, то есть не будет нести дополнительную нагрузку на основной процессор.
А специализированный чип в НАС-е или нет, это уже второй вопрос. Разница в специфических железке в основном в поддержке дополнительных фич. Типа кеширование на батарейке, hot-swap, hot-spare...

[BlinCT]

RStarun, по поводу 2.5 сетки это в планах, я сейчас прикидываю что надо брать и сколько всего надо.
Я пока не понял если например самое важное будет у меня на 2 SSD дисках в зеркале, а например на HDD 16 Гб по началу то смогу ли я докупать диски и добавлять их к раиду. И все таки какой системой это все разбивать, так как советов много.
Само собою бесперибойник будет тоже но не знаю можно ли его програмно с системой связать дял правильного выключения системы.
Корпус чт оя планирую взять он на 6 HDD, 2 SSD. Но а на матери NVME уже под саму систему.

[Saboteur]

Добавлять диски в рейд, особенно сделанный своими руками, будет проблематично. Там же все перестроить надо. При пересборке рейда информация теряется.
Если не нужна отказоустойчивость, может было бы проще просот диски объединить средствами LVM/файловой системы типа zfs?
Тогда можно будет добавлять диски онлайн

[RStarun]

Saboteur, добавлять диски что в lvm/zfs , что в mdadm будет проблематично. Есть риски и там и там нажать что-нить не так. Системы NAS типа Truenas вроде умеют это делать через красивый гуй, с минимальными требованиями к квалификации юзера.
информация теряется обычно при пересборке raid'а аппаратного, если у аппаратного рейда нет функции расширения емкости без потери данных. А она обычно сейчас везде есть, но может не хватить гибкости. Например raid5 можно будет диск добавить, но перейти с raid5 на R6 уже никак без полного разрушения.

[Saboteur]

RStarun,
Ну взять то же зеркало - если добавляешь ОДИН диск, я не представляю как это возможно. Надо добавлять хотя бы два.
Опять же, под капотом там скорее всего юзается тот же lvm и какая-то из более-менее удобных файловых систем.

[RStarun]

BlinCT, посмотрите сетевые карты и главное - коммутаторы на 2,5G. Есть вероятность что передумаете по поводу 2,5. Выбор 2,5 резко сужает выбор оборудования и повышает бюджет. Там до 10G ethernet по цене недалеко.
ИБП должен быть с выходами для подключения - usb|rs232. Ну и должна быть хоть какая-то информация о совместимости с системой на которой вы собираете. Обычно есть информация о совместимости. ИБП можно и потом докупить.
Возможности расширения емкости зависят от того чем именно и какой именно рейд соберете. Если это зеркало, то расширить его можно будет как минимум двумя такими же дисками. Если R5, то можно диски докидывать обычно. Но опять же - смотрим чем собираем и читаем мануал. Но тут возникает новая проблема - R5 не рекомендуется для емких дисков (4тб и более), т.к. очень большое время ребилда. Так что приходим к R6, а это уже много дисков и потеря емкости (на 4 дисках 50% емкости в трубу)... Короче - для домашнего R5 и ставим свечку )

[BlinCT]

RStarun, ну у меня будут 16Тб диски если говорить о времени ребилда)
А по поводу 6 раида, я вроде глянул надо от 4 дисков, и там потеря 30% с копейками, не 50%.

[RStarun]

BlinCT, если будет 4 диска по 16 тб, то емкость вы получите 32 тб. Уйдет 50% емкости. В этом случае проще R10, оно почти такое же по надежности, но значительно быстрее. В R6 емкость двух дисков уходит, их интересно собирать если носителей от 6-7 шт.
При 16Tb можно попрощаться мысленно с данными в R5. Слишком велики шансы сбоя во время ребилда. Ну то есть, может и повезет. Но надо понимать что риски высоки и просто смириться с этим.

Answer 2

[VoidVolker]

FreeNAS имеет поддержку нескольких уровней кэширования из коробки. Первый уровень - ОЗУ: индекс ФС плюс вся оставшаяся под кэш. ЕМНИП, индекс - по гигу ОЗУ на ТБ хранилища надо. Далее - ССД как второй уровень и далее уже диски. Главная рекомендация по железу: используйте ECC память, т.к. чем больше хранилище - тем выше вероятность того, что в него попадет ошибка и сохранится. Особенно если RAID.

Comments

[BlinCT]

FreeNAS как я вычитал не работает с btrfs системой, и плюс как я понял не все версии раидов поддерживает.

[VoidVolker]

Тут у соседей топик за бугром как раз топик на эту тему: https://www.reddit.com/r/btrfs/comments/8krdge/roc...
Лично мне нравится FreeNAS - куча функционала, много всего есть, да и к тому же - это фряха! А фряха - это всегда прикольно =)

[BlinCT]

VoidVolker, Да я вот сейчас задумался над тем что все таки для мелких файлов типа фотки, музыка, документы это надо один раздел делать и скорее всего с EXT4 а вот под крупное это другйо раздел и другие диски. И теперь я уже в полной растерянности как это правильнее сделать все(

[VoidVolker]

BlinCT, для начала просто определитесь с целями и требованиями к вашему NAS именно как к хранилищу: объем, резервирование, скорость и отклик, методы доступа и т.п. И уже исходя из этих требований - подбирать решение. Например, для домашнего фото/видео архива и небольшого бюджета вполне достаточно любого ПК/малинки с линуксом и парой дисков в зеркале (просто потому что все диски выходят из строя - это лишь вопрос времени - зато семейный архив под защитой).

[BlinCT]

VoidVolker, ну хорошо, для самого важного как вариант фото и документы это как вариант 2 диска 8Тб в зеркало и на EXT4 посадить.
А вот архив с фильмами и сериалами где файлы и под 80Гб есть то тут просто обьединить диски и при нехватке места просто подключать новый диск? Или все таки тут раид нужен хоть с какой то защитой при выходе из строя 1 диска? И возможно в этом случаи присоединять диски если нужно увеличить обьем?

[VoidVolker]

BlinCT,
Под фильмы и сериалы делать рейд не имеет особого смысла, т.к. их не жалко и почти всегда можно скачать. Но если бюджет позволяет - то можно взять что-то типа рейд-3/4/5.

[BlinCT]

VoidVolker, их расширять ведь можно? И если понимаю правильно то есл иу меня разные раиды и файловые системы то уже брать какой то дистриб заточеный под создание NAS не получится? Ставить любой дистриб и ручками все настраивать?

Если вариант без рейда, то как вы тогда бы стали делать?Просто по отдельности каждый диск использовать и по отдельности забивать файлами?