Прошу совета по поводу сборки недорогого NAS

Question

[d43]

Привет!
Есть задача: сделать NAS для ежедневных rsync бэкапов двух (или хотя бы одного из них) 6-терабайтовых ReadyNAS. Бэкапный NAS должен быть большим по объему (хотя бы 10ТБ), простым в поддержке и стоить дешевле готовых решений. Ни для каких других нужд он больше использоваться не будет.

Как бы вы решили такую задачу?

А именно какой бы выбрали корпус, RAID-контроллер (можно Intel RAID или лучше отдельные?), диски? Ставили бы вы FreeNAS или обошлись бы чем-нибудь проще? Как следили бы за состоянием RAID-массива?

Я никогда ни с чем подобным дела не имел, и буду очень рад любой информации и советам.

Спасибо.

Answer 1

[Влад Животнев]

Корпус, в него материнку с 7-10 SATA портами. Жидкое охлаждение. У меня вот такая материнка стоит, например.
В корпус влазят (если использовать переходники корпусные 5.25->3.5) 7x3.5 хардов и 2х2.5 или 8x3.5 и 1x2.5 Если не экономить на дисках — то это 23 террабайта без учета двойного резервирования в RAID1. А так получается 10 TB в RAID1 и 1 отдельный диск.
А вообще полазьте по маркету — вот тут можно подобрать почти любой корпус. Я там встречал монстров и на 10 hdd.
Покупать готовые решения я бы не советовал — сломается, замучаетесь искать где и как починить.
Использовать аппаратные RAID контроллеры тоже нет смысла — у вас не будет высокой дисковой нагрузки (упрется в канал, а активно писать-читать локально вы там не будете). Опять же — сложно восстанавливать рассыпавшийся RAID.
Лучше поставить Debian (ну или убунту) и использовать mdadm. Потом при помощи LVM собрать все массивы в один том.

Comments

[Дмитрий]

А можно полюбопытствовать, зачем там жидкостное охлаждение?

[Дмитрий]

Корпус или вот такой, если нет стойки.
Материнку любую, чтобы хватало портов под диски или парочку простеньких sata контроллеров. А софтовая часть исходя из личных предпочтений. Ковырять готовый freenas смысла не вижу.

[Дмитрий]

Вот еще один пример корпуса, если хватит 8-ми отсеков.

[d43]

Спасибо за ответ! С жидким охлаждением у меня связан не очень приятный опыт. Плюс, думаю, RAID5 для такой штуки будет оптимальнее.

Answer 2

[amc]

Мда, ну и бред товарищ выше пишет. У каждого своё мнение, у меня другое чем у товарища выше.
И так:
1) корпус:
денег мало? берёте любой корпус с нужным количеством дисков;
денег нормально — берёте, например, супермикро, если 8 хардов мало — поставите в 5,25 отсек либо mobile-rack (+3 диска), либо спец корзинку (до 5 дисков, дорого);
ну или нормальные корпуса на 16 дисков, но это совсем дорого =)

2) количество дисков: хранить бэкапы на RAID-1 конечно надежно, но глупо, так что RAID-5 (самый простой вариант), RAID-6 (самый дорогой), ZFS (нативно держится FreeNAS — значит наш выбор), под систему выделить отдельный хард\флешку (для FreeNAS так в любом случае придётся сделать, AFAIK)
Какие диски — на ваш выбор (ибо фломастеры ...). Если бэкапы ЦЕННЫЕ, то WD Green (и их одноклассники по цене) — не советую, но и не отговариваю категорически.

3) контроллер: контроллер в любом случае, т.к. 6 набортных портов вам явно не хватит (5 дисков по 2ТБ — это 9 с копейками ТБ, а нужно ещё хотя-бы один для spare). В связи с чем есть два варианта:
дешевый: убогие SATA контроллеры (4 портовые на PCI, Sil3114; 2 портовые PCI-E Sil3132; 4 портовые Marvell — фиг найдёшь в продаже), из преимуществ — только цена;
нормальный: любой современный контроллер, особенно если в корпусе будет SAS Expander Backplane. Батарейка и память на них — в вашей задаче — не особо нужны, так что из младших моделей есть что выбрать. А ещё у ФриНАСа есть такая строчка в features: automatic system notifications about LSI RAID controller events (requires email service to be configured) ;)
Преимущества: одна точка подключения, можно сделать нормальный RAID-5 с hotspare (если понадобится, конечно), в нормальных корпусах можно подключить гораздо больше чем 8 хардов (c помощью expander'a)

Так же, можно взять материнку на которой уже есть контроллер (например как эта), но это как вариант.

>>Ставили бы вы FreeNAS или обошлись бы чем-нибудь проще
Проще FreeNAS ничего не может быть, остальное — только руками делать, но руками и «простым в поддержке» явно не дружат.

Ну и последний вариант — обратитесь к профессионалам, например 3nity.ru, подберут качественное решение. НЕ дешевое, конечно, но и не дорогое =)

Comments

[d43]

Спасибо за ответ, но у меня остались вопросы :-)

[d43]

1) Можно ли собрать RAID5 из дисков, подключенных к разным контроллерам? 2) Не могли бы Вы вкратце, простыми словами обрисовать, как работает «SAS Expander Backplane»? Я так понимаю, что это позволяет подключить массив с дисками за пределами корпуса, но я не понимаю, зачем корпусу самого сервера поддержка этого :-) Какие требования к материнке?

[amc]

1) Можно ли собрать RAID5 из дисков, подключенных к разным контроллерам?
Да, если это Soft-raid, т.е. если рейд делается средствами ОС а не контроллера.
Недостаток — не используется батарейка и кеш контроллера (если они имеются, конечно), соответственно есть шанс write-hole at powerloss.

2) Не могли бы Вы вкратце, простыми словами обрисовать, как работает «SAS Expander Backplane»?
Всё просто:
для начала смотрим «обычный» вариант:
а) на контроллере есть тупо 8 портов SAS/SATA — обычными кабелями подключается каждый порт к каждому харду, больше 8 не подключишь
б) на контроллере есть 2 порта SFF-8087, в них воткнуто 2 кабеля SFF-8087 -> SAS/SATA (например), которые втыкаются напрямую в 8 хардов, тоже самое.
в) на контроллере 2 SFF-8087, в корпусе на BACKPLANE так же 2 8087 (либо 8484) соединяются 8087-8087 либо 8087-8484 — контроллер увидет столько хардов, сколько висит на backplane; Например шасси
www.supermicro.nl/products/chassis/2U/826/SC826E1-R800LP.cfm
с бэкплейном SAS-826EL (http://www.supermicro.nl/manuals/chassis/2U/SC826.pdf страница 67, раздел D-1)

Смысл SAS(SATA) Expander'a — а) заменить много физических подключений одним б) позволить обращаться к большему кол-ву устройств (если посмотрите в спецификации контроллеров — даже самые младщие 4-lane (с одним SFF-8087) могут обращаться к 128 устройствам, именно через expander.
Еще один пример — есть шасси на 24 диска, вы представляете что за жопа будет если коммутировать это обычными SATA шнурками? А если 72 диска?

К материнке требование простые — поддержка набортным контроллером работы с экспандером.

Озвучте бюджет, проще будет.

[Versuz]

Те кто RAID5 на 10Тб принципиально игнорируют результаты поиска в гугле по фразе ''RAID5 must die''.Или все такие рисковые и готовы сыграть в рулетку на главный приз ''яки просрати все данные сразу''?

[d43]

Спасибо за ваше мнение, но это вопрос трехлетней давности - я его задавал еще когда это был Q&A раздел Хабра. Если по теме - не вижу проблем в использовании RAID5/RAID6 для бэкапов, что мы сейчас успешно делаем.

Answer 3

[Versuz]

По поводу всего писать не буду ибо как то очевидно.
А вот по поводу контроллера могу сказать что взять оптимально Smart Array p410 с батареей и 512мб набортной памяти. Этот контроллерина мой взгляд максимально избавлен от разнообразных проблем присущих RAID решениям в принципе.
Единственным существенным недостатком считаю что из Линуксов придется пилить либо RHEL либо CentOS естественно на свойстрах и риск. В плане софтовой поддержки и конфигурирования. Либо простое решение с виндами сервер 2012 но это дорого выходит.

На контрлллеры Sil*** вообще смотреть не стоит. Они глючные.