Есть ли смысл в ZFS на hardware RAID?

Question

[intnzy]

Есть сервер DELL в котором 8 HDD объединенных аппаратным контроллером в RAID 6. BBU, все дела.
Есть задача водрузить туда FreeNAS и организовать фалопомойку.
Вопрос: А есть ли смысл городить огород с ZFS, если контроллер показывает 1 блочное устройство и сам довольно надежно заботится о данных?
И вообще — есть ли смысл в ZFS на такого рода конфигурациях? А если есть — как лучше организовывать разбиение на разделы, если главное — максимум доступного места?

Comments

[apilichev]

Какие требования к надежности, доступности? Планируется ли масштабирование? Если планируется, то каким образом?

[intnzy]

Обычная офисная файлопомойка. Надежность — ну той, что предоставляет RAID6 более чем достаточно. Масштабирование не планируется. Винтов больше не влезет. Т.е. то, что есть — практически навсегда )))

Answer 1

[danfe]

В принципе, при наличии хорошего (read: надежного и честного) аппаратного контроллера, +ббу, особой необходимости в ZFS нет. При всей своей гибкости софт-рейд создает лишнюю нагрузку на CPU и шину; хороший контроллер все чексуммы будет считать сам. Да и у собственно ZFS есть ограничения, например невозможность добавлять новые винты в raid-z/z2 пулы (вас это конкретное не касается, но зачастую бывает полезно).

Если бы вопрос стоял не «нормальный raid vs. zfs», а «ich10r vs. zfs», то тогда ответ однозначно ZFS. :-)

Comments

[alex_www]

Ни один zfs тест не показал даже 1% нагрузки на CPU связаной с raid-z или raid-z2, на CPU новее 10 лет это не аргумент более. Я бы советовал воспользоваться zfs и вот почему: в вашем конфиге вы зависите от RAID контроллера и это самое проблемное место, при выходе его из строя даже такой же но с другой номеров фирмваре не факт что соберет массив, даже с тем же номером не факт что соберет. Я бы советовал настроить контроллер оттдать «голые» диски и сделать raid-z2 поверх. В таком случае даже если выйдет из строя ВЕСЬ сервер (кроме винтов) Вы их включите в ЛЮБОЙ PC и ваш pool стартанет.

[EGarbuzov]

Ммм… и часто вы встречали ситуацию когда ВЕСЬ сервер «посыпался», а винты все как один ещё живы?

[lexa]

ZFS (RAIDZ в моем случае) очень чувствительна к скорости памяти. Ну и нагрузку на CPU создает вполне заметную, 30-40-50% на современном десктопном процессоре — запросто.

Это для небольших домашних сторадж-боксов терабайт на 10, к которым ходят по 10G-сети. Понятно, если ходить по гигабиту, то упретесь в гигабит, а не в диски-CPU-память.

[alex_www]

Это действительно высокая нагрузка — процентов 30-40-50%. У меня на бакап-сервере DELL R710 в конфиге 12x2TB, Xeon 5500, 8GB ram, бекап заливается на него по гигабиту по rsync, винты отдаю голые как и писал выше. Суммарной нагрузки (включая rsync) более 20% не было НИКОГДА. Про ситуацию когда сервер сыпался, а винты живы — было и не один раз, отказывали и контроллеры и сами материнки, винты живы.

[lexa]

Заливая по гигабиту (120Mb/sec в пределе, а по факту наверное сильно ниже?) вы не упретесь в CPU/память на современных процессорах.
Я уперся когда перешел на 10G (сначала infiniband, а потом на ether, IB в FreeBSD работает странно). И апгрейд процессора (с Core2 на i7-SandyBridge) повысил скорость записи очень заметно. Вот сводная табличка: blog.lexa.ru/2012/04/14/opyat_snova_o_proizvoditelnosti_zfs.html

Answer 2

[lexa]

ZFS интересна средствами администрирования (снэпшоты, send-receive, наращивание пула на ходу и так далее).
Если ничего из этого не нужно, а особенности UFS на больших файловых системах (многочасовые fsck, например) устраивают — вполне можно обойтись без ZFS.

Но если ZFS, то на JBOD. Вариант поверх HW RAID очень сильно не рекомендовался саном.

Answer 3

[Павел]

При использовании ZFS считается неправильно использовать RAID. На контроллере обычно устанавливают режим PassThrough, чтобы отдать диски ОС на которой ZFS сделает как ей надо.
ZFS не подвержена этому www.raid-recovery-guide.com/raid5-write-hole.aspx

Answer 4

[apilichev]

Присоединюсь к danfe, особого смысла в ZFS нет, разве что поиграться.

Answer 5

[Kvantor Lab.]

ZFS по надежности данных весьма и весьма может опережать многие аналоги классических рэйдов, но да - нет необходимости и смысла выстраивать его на аппаратном рэйде, абсолютно никакого, более того попросту не получится