Как организовать два дисковых массива на двух дисках raid1 + raid0? и как это скажется на работе?

Question

[xaoma_ziz]

Здравствуйте, есть домашний NAS, под win server 2008 без raid, два диска + загрузочный. Решил привести это все в порядок и возник такой вопрос. Возможно ли средствами zfs(пока планирую использовать его, озу добавлю, ecc есть) или чем-то еще со встроенной дедупликацией(~60% файлов(по размеру) сделаны на основе одних шаблонов) организовать на одном диске как зеркальный массив для ценной информации(бекап есть, хочется бесперебойности, информации максимум 30гб) плюс все остальное место для всякого мусора, который или перекачивается с торрентов или вообще не сильно уже нужен, в raid0. Черевато ли такая разметка диска чем-то еще? Вроде бы простой вопрос, а ответа не нахожу и практики подобных решений.

Comments

[xaoma_ziz]

wulfdog, производительность дополнительно потеряется на эти манипуляции или же разница будет только от того, что дисков 2, а не 4?
Ну а решение да, нищебродское т.к. места в квартире мало и текущий корпус mini-itx формата имеет только 2 слота 3,5. Место, где можно расположить лишнюю коробку пол метра на пол метра в неризиновой стоит дорого, особенно с учетом переезда. Вот и ищу варианты обойтись без серверной комнаты. Ну а так бы да, не отказался бы комнату под железки компьютерные, комнату со станочком токарным, комнату под столярку, столовую для котлет(желательно без мух) тоже бы неплохо было бы.

Answer 1

[АртемЪ]

есть домашний NAS, под win server 2008 без raid

Не совсем понятно при чем тут zfs

Возможно ли средствами zfs(пока планирую использовать его, озу добавлю, ecc есть) или чем-то еще со встроенной дедупликацией

Если рассматривать линукс то можно и средствами zfs - однако там со стабильностью не все хорошо, и дедупликация онлайн, а это значит что потребуется мощный процессор и кучу оперативки, и все это будет тормозить во время записи, и дедупликация не самая эффективная.

Если нужна дедупликация и недорого то лучше смотреть в сторону Windows начиная с server 2012.
Там она очень эффективная, и оффлайновая, ну и стабильность NTFS выше всяких похвал.

Как организовать два дисковых массива на двух дисках raid1 + raid0? и как это скажется на работе

Не совсем понятно как вы хотите организовать два массива, каждый из которых предполагает как минимум наличие двух дисков, на двух дисках???
Вам надо четыре диска как минимум чтобы сделать два массива raid1 + raid0.
Ну и не совсем понятно зачем вам raid0?
Да и raid1 вызывает сомнения - неужто на домашнем NAS важна бесперебойная работа?

Comments

[kisaa]

Не совсем понятно как вы хотите организовать два массива, каждый из которых предполагает как минимум наличие двух дисков, на двух дисках???

Это довольно старая штука, называется Matrix Raid. Разработана Интелом, насколько поддерживается другими - я хз.
https://itc.ua/articles/matrix_raid_dva_massiva_na...

[АртемЪ]

kisaa, Ну такое извращение можно сделать и на динамических дисках в Windows, но какой в этом смысл? Что это даст?

[xaoma_ziz]

АртемЪ, это даст возможность в случае выхода из строя другим людям пользоваться raid1 массивом без вмешательства меня. Нет возможности быстро реагировать из-за основной работы, с другой стороны без этого все жена не сможет работать. И при этом тоже самое железо используется для архива проектов и просмотра киношек(creo + rhino, в силу их однотипности очень хорошо жмутся дедупликацией, бекап проектов в облако). Ну или не даст, затем и вопрос писал).
Вопрос именно в подводных камнях таких извращений. Насколько просто это потом будет восстановить(raid1) и насколько оно все будет требовать внимания.
zfs только потому, что "тру" админы сказали, что refs мусор, а ntfs устаревший мусор. Лично мне лишь бы работало.

[Дмитрий]

xaoma_ziz, видео почти не жмутся и не дедуплицируются (только если вы не храните два и более экземпляров одного и того же видео)

[xaoma_ziz]

Дмитрий, проекты creo и rhino за собой тащат кучу файликов, по сути стандартную библиотеку моделек и текстурок, но в силу особенностей лицензирования модуль, который приводит это все в порядок стоит отдельных денег и требуется на каждом пк. Покупать его, само собой, никто не собирается. Да и что-то мне подсказывает, что если дедупликатору отдать два одинаковых видео, то прекрасно будет дедуплицироваться(именно скопировать с сохранением кодека, без нарезок, фильтров), хотя тут не уверен.

[АртемЪ]

xaoma_ziz,

zfs только потому, что "тру" админы сказали, что refs мусор, а ntfs устаревший мусор. Лично мне лишь бы работало.

Ну я бы таких тру админов да поганой метлой...
ntfa одна из самых удачных и стабильных ФС. А вот zfs это крайне нестабильно, сложно в настройке и валиться по любому чиху.

Зачем RAID1(зеркало) я понял.
А зачем вам тогда raid0(страйп) ?

По поводу стабильности и требования внимания если будете делать на нормальных ФС - все будет стабильно и внимания не будет требовать, зеркальный рэйд восстанавливается очень просто.

Да и что-то мне подсказывает, что если дедупликатору отдать два одинаковых видео, то прекрасно будет дедуплицироваться

Одинаковые файлы дедуплицируются нормально, а вот если видео отредактировать - скорее всего вообще не будет дедупликации.

[Павел Межуев]

Одинаковые файлы дедуплицируются нормально, а вот если видео отредактировать - скорее всего вообще не будет дедупликации.

В ZFS дедупликация на уровне блоков.

[АртемЪ]

Павел Межуев, Ну это ежу понятно. А как еще можно?

[Павел Межуев]

АртемЪ, на уровне файлов и на уровне байтов.

[xaoma_ziz]

А зачем вам тогда raid0(страйп) ?

Дабы не раскладывать файлы по двум дискам.

[Zolg]

А вот zfs это крайне нестабильно, сложно в настройке и валиться по любому чиху.

ZFS под linux может быть (сам не пробовал).
Во FreeBSD (и, когда-то солярке) никаких проблем не замечено.

[АртемЪ]

Zolg, Ну так zfs вообще под солярку изначально делался. А потом его медленно и печально портировали на linux.

[Zolg]

АртемЪ, нет
сначала ее быстро и решительно портировали на FreeBSD, где спустя какое-то время она стала по факту основной фс
А с линуксом я даже не знаю, закончили ли жевать сопли по поводу GPL-совместимости, или нет

[АртемЪ]

Zolg, Я говорил исключительно про ZFS на линукс. Ее долго и печально портировали и почти доделали это.
И она почти работает на линуксе.
Поставить, настроить и запустить - без проблем. Для побаловаться самое то, а вот работать и хранить данные решительно не советую.

Ну и по поводу дедупликации там отдельная тема.
В zfs - онлайн дедупликация, т.е данные дедуплицируются на лету, это выглядит конечно круто, но на практике все не очень приятно.
Во первых в таком случае всю таблицу хэшей приходится держать в памяти - чем больше данных тем больше памяти нужно исключительно под таблицу.
Во вторых при записи огромная нагрузка на процессор - надо и хэшировать на лету, и искать соответствие в таблицу хэшей.

В ntfs - оффлайн дедупликация. Таблица хэшей хранится на диске. Данные записываются как есть, после чего в свободное время по расписанию запускается дедупликатор,

Answer 2

[Павел Межуев]

zfs (пока планирую использовать его, озу добавлю, ecc есть) или чем-то еще со встроенной дедупликацией

С дедупликацией ZFS надо быть осторожней. На первый взгляд она классная, но есть нюансы:

1. Требование к оперативной памяти прямо пропорционально объёму хранимых дедуплицированных данных. Примерно 5 ГБ памяти на 1 ТБ данных.
   
2. Даже если отключить дедупликпцию, ОЗУ будет продолжать использоваться пока вы не удалите весь пул.
   
3. Скорость работы с таким пулом может разочаровать. В общем случае дешевле и проще добавить ещё дисков.
   

организовать на одном диске зеркальный массив для ценной информации плюс все остальное место для всякого мусора в raid0.

В ZFS можно использовать в качестве vdev не только физические диски, но и логические разделы и даже файлы (но файлы лучше не надо). Так что такая конфигурация вполне возможна. Будет два пула:

zpool create mirroring-pool mirror sda1 sdb1
zpool create striping-pool sda2 sdb2

Черевато ли такая разметка диска чем-то еще?

Пока хватает IOPS и скорости разницы не будет.

Comments

[xaoma_ziz]

Спасибо за ответ. А насколько zfs будет требовать внимания к себе? Достаточно ли будет обновлений(неосмысленного apt upd && upg) после типовых настроек по гайдам?

[Павел Межуев]

xaoma_ziz, если у вас память с ECC, то будет работать стабильно до первого отказа диска, а там уже зависит от конфигурации пула, что за диск отказал и как отказал. Без ECC так же будет работать стабильно в подавляющем большинстве случаев, но могут быть нюансы.

Answer 3

[Владимир Коротенко]

Организуйте примерно так:

* windows 2016 server core (включите дедупликацию)
1. ssd на 64 гига загрузочный
2. 2 диска в 1 raid - кстати что за рэйд контроллер? если встроенный в мать то используйте софт рэйд
3. 1 диск большого объема, для всякого хлама типа сериалов музыки и т.д.

А вот 0 рэйд на файлопомойке явно не нужен, у вас какая сетка гигабит? Какие контроллеры? Собственно и все.