Нужен ли дополнительный RAID-контроллер?

Question

[hsadik]

Материнская плата ASUS P10S-C / 4L. В ней есть RAID-контроллер встроенный. Планируется создать массив RAID1 из 12 SAS дисков. Нужен ли дополнительно RAID-контроллер? Он обязательно должен быть SAS RAID? Или RAID контроллер - это и есть SAS RAID?

Comments

[sim3x]

Подумайте, что произойдет если у вас умрет контроллер, а запасного нет нигде?

[abroabr]

sim3x,
1) RAID не отменяет бэкапы
2) Серверные RAID можно восстановить программно. Конфигурация RAID в серьезных RAID записана на дисках в давно стандартизованном формате. Дешевые полупрограммные встроенные на не серверные материнки - к таковым не относятся.

[sim3x]

abroabr,
2) Если не сложно, укажите производителей (модели) и вилку ценников на такие контроллеры

[abroabr]

sim3x, MegaRAID/Intel/LSI/3Ware, может еще кто.

[abroabr]

John Smith,

Да, вопрос, сколько это займет времени и денег.

Времени - примерно столько же сколько и при подключении через аппаратные RAID. Так как самая большая затрата времени - это собственно процессы чтения-записи диска.

Денег - зависит от вашей совести. Многие используют крякнутые программы.

P.S.:
Я делал это, не теоретиг.
Это работает.

[abroabr]

John Smith, в простейших случаях софт работает полуавтоматически. там нужно только указать откуда брать и куда класть данные.

в тяжелых случаях не поможет и запасная железяка, а вот программное решение позволяет иногда расковырять даже сильно поврежденный RAID, после того, как и родная железяка отказалась его признавать.

все дело в цене вопроса.
класть запасной RAID рядом - мало кто себе позволяет.
программные решения - дешевле аппаратных

[Илья лук]

abroabr, "в давно стандартизованном формате"
А давно это примерно какие временные рамки?
Сори офтоп.

[abroabr]

Илья лук, лет 10-15

Answer 1

[Борис Сёмов]

Конечно нужен. Хотя бы, просто для того, чтобы была возможность физически подключить столько SAS дисков.
Без него там есть только 6 x SATA3 6Gb/s ports, 4 из которых, на разъёме miniSAS HD, но при этом всё равно SATA.
И да, если вы подключаете SAS диски, то вам нужен контролер с SAS портами.

Answer 2

[Армянское Радио]

RAID1 из такого количества дисков - крайне дурацкая идея. Вы будете по итогу иметь 1/12 суммарного объема дисков. Для таких количеств нужны LVM или ZFS

Comments

[hsadik]

Да, я не разбираюсь в этом, практическая работа. Мне нужно обеспечить хранилище на 10 ТБ из SAS дисков. Может вообще обойтись без RAID? Или использовать RAID10? По скорости диски (среднее время задержки) соответствуют требованиям. Как тогда мне повысить надежность?

[Армянское Радио]

Какого объема у вас диски? Идите и учите материал.

[hsadik]

Армянское Радио, 1800 ГБ

[Борис Сёмов]

Совсем не обязательно использовать ZFS - можно собрать RAID на железке, если будет приличная куплена, или с помощью того же mdadm, но конечно не RAID1, и стоит почитать о уровнях RAID, и выбрать нужный для задачи.
Это будет шустрее чем ZFS, во многих случаях, да и экономнее по потреблению памяти.
А LVM, может нужен, а может и нет - тут вопрос что там, и как будет хранится.

[Армянское Радио]

Борис Сёмов, RAID на железке можно покупать, если таких железок есть больше трех штук, чтобы в случае проблем можно было поменять.

[Борис Сёмов]

hsadik Raid 5,6,10 влезает в 10TB, при таком объёме и кол-ве дисков. Raid 10 будет быстрее всего (12x read, 6х write), и экономнее по вычислительным ресурсам, но 1 диск до отказа.

[Армянское Радио]

Борис Сёмов, RAID5 крайне не рекомендован для новых дизайнов из-за своей падучести при ребилде, вам это известно?

При таких объемах данных нужен линейник из нескольких RAID10 (или ZFS), чтобы сдыхание одного диска не приводило к глобальному ребилду массива.

[Борис Сёмов]

Армянское Радио Часто, достаточно купить что-то не экзотическое, что наверняка будет в наличии.
Не все сервисы обязаны иметь такую уж высокую надёжность, чтобы держать запас контроллеров, а те, что обязаны, не собираются вот так на одном сервере кем-то кто не знает что делать, обычно.
К тому же, дорогие рейд контроллеры, на которых, собственно, имеет смысл собирать хардваный рейд, довольно надёжны, особенно, в сравнении с материнкой от asus, и не понятно какими комплектующими, которые к ней подключены, и не он будет тут наиболее вероятной точкой отказа. =)

[Армянское Радио]

Борис Сёмов, оно будет в наличии и через пять лет, когда ВНЕЗАПНО все начнет дохнуть? Вы большой парк машин эксплуатировали? Сколько данных теряли за один раз? Как быстро удавалось восстановить?

[Борис Сёмов]

Армянское Радио, Да, можно собрать с помощью LVM что-нибудь типа 2-3хRAID10 в один блок, что не решит полностью проблемы, и скорее всего, уменьшит скорость. А можно и с ZFS пожить, хотя с ней всё не так уж радужно.
Но, часто, деградация 10 и его перестроение, при замене диска, не вызывает большой проблемы. 1,8тб скопировать даже под нагрузкой не так и долго, тем более на SAS. Эта проблема больше при больших и медленных дисках проявляется.

И я не рекомендовал 5, я написал, что он, в частности, влезает по объёму. Автору всё равно надо хорошенько почитать, чтобы принять разумное решение. И отнюдь не только наши комментарии...

[Армянское Радио]

Борис Сёмов, где вы видите в ТЗ от автора нижнюю границу скорости? Нет ее. 1.8 терабайт даже без нагрузки будет копироваться уж никак не меньше трех часов, а если с нагрузкой и постоянными откатами из-за этого? Ваш опыт эксплуатации хранилищ очень похож на опыт эксплуатации дивана, извините.

[Армянское Радио]

SyavaSyava, у меня есть практический опыт вылетания RAID6 полки HP с массивом в 16 Tb. Именно во время ребилда после замены одного диска - сдохших дисков стало два и полка встала.

[Борис Сёмов]

Армянское Радио Нигде, поэтому и не советую какое-то конечное решение, а говорю о достоинствах и недостатках разных вариантов, как и вы.

Да, 3 часа в самом лучшем случае. Собственно перестройка любого рейда это процесс не быстрый, особенно, если его нельзя вывести из эксплуатации. Но если он не перегружен, это может не быть проблемой.
ZFS тоже придётся при замене диска восстанавливать избыточность, и там внутри тоже будут копироваться эти 1,8тб, в итоге, просто это будет менее прозрачно.

Ну а последняя фраза это от отсутствия реальных аргументов, вероятно...

[Армянское Радио]

Борис Сёмов, за три часа тормозов можно выслушать много интересного от себе из уст руководства и пользователей системы. В отличие от массива, где будут гарантированно копироваться все терабайты, ZFS будет копировать только занятые.

[Армянское Радио]

SyavaSyava, полная потеря массива, во время ребилда вылетело один за одним два диска.

[Борис Сёмов]

Армянское Радио А можно и не выслушивать. Ребилд рейда, не всегда ведёт к проблемам сервиса, о чём я выше и писал. И не раз наблюдал на практике.
К тому же занято может быть и 90% места, и разница будет мала.

Ну и вернёмся к производительности, ZFS штука удобная, но прожорливая, и не то чтобы очень шустрая. И если у вас будет такая нагрузка, что при перестроении рейда будут такие тормоза, что придётся "выслушать много интересного от себе из уст руководства и пользователей системы", то с ZFS на той же нагрузке, есть совсем не нулевой шанс выслушивать всё это при штатной работе, даже без отказа диска. =)

ZFS это один из вариантов, иногда разумный, иногда нет, а отнюдь не "серебряная пуля". Собственно эту мысль я и пытаюсь донести...

[Борис Сёмов]

SyavaSyava

А вот на пресловутом RAID10 при отказе 2 дисков мы гарантированно бы потеряли весь массив.

Нет, не совсем так. При потере двух дисков в одном зеркале только мы теряем данные. А вероятность этого заведомо меньше, чем просто потеря двух дисков.
Теоретически в Raid 10 можно потерять аж до половины дисков без потери информации. =)

[Борис Сёмов]

SyavaSyava, Вообще, если сравнивать надёжность, то лучше, всё же, применять теорвер, и делать это объективно. =)

Армянское Радио, Прошу прощения - много комментариев, и я не уследил за всеми:

оно будет в наличии и через пять лет, когда ВНЕЗАПНО все начнет дохнуть?

За 5 лет, скорее умрёт выбранная платформа, а скорее всего будет заменена. Впрочем, 5 летний распространённый контроллер найти, действительно, не проблема, если не где-то уж совсем в глуши...

у меня есть практический опыт вылетания RAID6 полки HP с массивом в 16 Tb. Именно во время ребилда после замены одного диска - сдохших дисков стало два и полка встала.

Это печальный опыт, 100% надёжного ничего нет. Один раз в Raid10 три диска потерял из 8, и не фатально, кстати - случаи бывают разные. =) Но ZFS тоже можно потерять, по мне, так даже проще, я уже пробовал...

[abroabr]

Армянское Радио,

RAID на железке можно покупать, если таких железок есть больше трех штук, чтобы в случае проблем можно было поменять.

Железные RAID элементарно восстанавливаются программным способом.

Если речь идет о реально серверных RAID, то там на дисках таблички есть с описанием RAID, формат табличек стандартизован. Табличек на каждом диске минимум две, иногда 3. На каждом диске! Они идентичны (если авария не произошла при перестройке RAID). Видел лично.

Если рейд не серверный, то есть по сути программный, то еще проще, если конечно тебе известна первоначальная компоновка.

[abroabr]

Борис Сёмов,

Это печальный опыт, 100% надёжного ничего нет. Один раз в Raid10 три диска потерял из 8, и не фатально, кстати - случаи бывают разные. =) Но ZFS тоже можно потерять, по мне, так даже проще, я уже пробовал...

Известная ошибка - RAID и крутая файловая система не заменяют и не отменяет наличие backup

RAID позволяет продолжить работу при сбое, вместо того, чтобы всю деятельность приостановить и начать восстаовление из бэкапа - только и всего.

Бэкап реализует защиту от ситуаций, при которых RAID вообще будет вести себя противоположенным образом. Например, злоумышленник (или по ошибке) переписал содержимое файла. На RAID содержимое файла будет изменено на всех дисках и нигде вы не найдете старого варианта (если файловая система без версионироваения). Бэкап же как раз в этой ситуации (если вы его делаете регулярно и храните историю бэкапов, а не только последний) - поможет вам.

[Армянское Радио]

abroabr, бекап становится делать проблемно, когда данных > 10T.

От вышеописанной ситуации помогают COW и снапшоты, которые как раз и есть - "крутая файловая система".

[abroabr]

Армянское Радио, кто сказал, что бэкап должен быть полным каждый?

существуют инкрементальные бэкапы.
существует поддержка горячих бэкапов на уровне API ОС и файловых систем.

но да, в случае высоконагруженных систем целесообразна репликация.
она все равно нужна, чтобы система продолжила работать когда произойдет полный сбой сервера (а не только RAID-подсистемы этого сервера).

[Армянское Радио]

abroabr, инкрементный бекап в любом случае полезет индексировать все терабайты на устройстве.

Первое, что делает большинство шифровальщиков - отключение всех таких бекапов.

Пролезание бекапа из стораджа на уровень приложений ("поддержка горячих бекапов на уровне API...") - так себе идея, сокращающая гибкость проектирования.

[abroabr]

Армянское Радио,

Пролезание бекапа из стораджа на уровень приложений ("поддержка горячих бекапов на уровне API...") - так себе идея, сокращающая гибкость проектирования.

Все упирается в цену потери твоих данных.

[Борис Сёмов]

abroabr, Нет никакой ошибки - речь была не о том, что данные безвозвратно потеряны, а о том, что ломаются и рейды и zfs. А простой на время восстановления, это тоже вполне себе неприятность...

Армянское Радио Инкриментальному бекпу, кстати, не обязательно перекапывать все терабайты - мета информации о файлах куда меньше.

[abroabr]

а о том, что ломаются и рейды и zfs. А простой на время восстановления, это тоже вполне себе неприятность...

все зависит от цены простоя, скажем такие вещи как репликация, которые могли бы прогарантировать от простоев в дополнение к RAID - не все делают, не всем нужно.

так то RAID-зеркало изначально и придуман, чтобы можно было продолжать работать даже со сдохшим диском без простоя.

Answer 3

[Пума Тайланд]

Конечно он должен поддерживать сас иначе зачем вы покупали сас диски

Answer 4

[Wexter]

RAID контроллер в материнке не поддерживает SAS, либо докупаете опциональный Асусовский контроллерSAS PIKE, либо покупаете не асусовский контроллер. Опять же учитывайте что в контроллере обычно всего 4/8 портов для дисков, либо нужен будет бэкплейн с встроенным экспандером, либо только 4/8 дисков получится подключить. Есть ещё вариант с 16 портовым контроллером, но они достаточно дорогие

Answer 5

[Sergei]

Встроенный - программный, вывод - нужен, не дорогой, но вполне себе аппаратный.