Какой RAID массив организовать для отказоустойчивости?

Question

[Марк Розенталь]

Привет.
Windows Server 2012. Возможность засунуть 4 диска.
AD, 1C и CRM
Сейчас: Два диска на сервере: C и D. Бэкапы SQL базы пишутся на диск D
Что надо:А вдруг упадет D? Нужно сделать наименее затратный массив с зеркалом и высокой скоростью записи, потому что бэкапов -- тьма.
RAID 1, говорят, норм, но там скорость чтения низкая.

Comments

[АртемЪ]

Организация дискового пространства вообще непонятна.
Для начала нужно знать какие сервисы крутятся на компьютере и что нужно от дисков.
AD и CRM это понятно
Что значит 1с?
У вас сервер 1с крутится на этой машине? А скуль где? на другой?
Или у вас и 1с сервер и скуль на одной машине? да еше и вместе с АD?

[Марк Розенталь]

АртемЪ: Да, все именно так, но могу с легкостью отмазаться: так оно и было -- я не при делах:)
Я, к сожалению, не работал админом (и сейчас, по сути, тоже), но пока что мне приходится делать все всещи

[АртемЪ]

Марк Розенталь: В таком случае примерно так - все что требует быстрого диска надо перенести на SSD.
Т.е базу скуля, возможно CRM.
Если нужна отказоустойчивость - то сделать зеркало т.е RAiD 1 из двух SSD.

Все остальное на обычном HDD. Опять же если нужна отказоустойчивость то зеркальный рейд из двух HDD.

Бэкапы хранить на отдельном сервере. Поскольку для бэкапов не нужна ни скорость, ни отказоустойчивость, то бэкапы хранятся на одном(без всяких рейдов) медленном HDD большого объема.

[Марк Розенталь]

АртемЪ: спасибо

[АртемЪ]

Марк Розенталь: Опять же насчет SSD - это не догма.
Можно базы оставить и на HDD, если скорость работы приемлемая.
Перенос баз на SSD нужен исключительно для повышения быстродействия этих самых баз. Т.е если все и так работает быстро, то с переходом на SSD можно повременить.

Answer 1

[АртемЪ]

Что то все в кучу смешали. То речь про отказоустойчивость, то про бэкапы.

Какой RAID массив организовать для отказоустойчивости?

Ну например RAID 1.

RAID 1, говорят, норм, но там скорость чтения низкая.

Это кто такое сказал? По сравнению с чем она низкая? Скорость чтения в данном массиве выше чем у одиночного диска, либо равна ему.

Два диска на сервере: C и D. Бэкапы SQL базы пишутся на диск D

Довольно неграмотная организация бэкапов. Бэкапы должны храниться на другой машине как минимум.

А вдруг упадет D? Нужно сделать наименее затратный массив с зеркалом и высокой скоростью записи, потому что бэкапов -- тьма.

Чем страшно падение? Остановкой работы или потерей данных.
Т.е если опасность в остановке работы - то нужно организовать отказоустойчивость например с помощью RAID 1.
Если опасность в потере данных - то нужно просто делать бэкапы и никаких рейдов.
И с каких это пор для бэкапов нужна высокая скорость записи? Обычно для бэкапов используют самые тихоходные диски.

Comments

[Марк Розенталь]

Падение страшно потерей данных, к тому же на диске есть директория всех сотрудников с важной и нужной инфой

[АртемЪ]

Марк Розенталь: Если боитесь потерять данные то делайте бэкапы.
RAID в таком случае ничем не поможет.
Он обеспечивает либо повышение скорости, либо повышение отказоустойчивости. Но никак не сохранность данных.

[Александр]

Марк Розенталь: У Вас, действительно, перепутаны понятия. Бэкапы делаются, как правильно заметил АртемЪ, на тихоходные и долгоиграющие диски, типа красных WD для видеоархивов. Бэкапы потерять не страшно вовсе - всегда можно сделать новые. Шара - дело другое, и требования, соответственно, другие.
SSD - одна из самых плохих технологий для хранения информации на сегодняшний день, ИМХО.

[АртемЪ]

Александр: А почему это вдруг SSD - одна из самых плохих технологий для хранения информации?
Если чисто для хранения то может и не самая лучшая но вполне неплохая.
А если данные не только хранят, но еще и работают с ними то лучшая.

[Александр]

По моему мнению, для хранения и на "неплохая" недотягивает. Куча ограничений: числу записи, температурным режимам, системам восстановления в случае сбоя. Положил дисочек в тёплое место на неделюку, "потеря данных", здравствуй! В этом отношении олдскульные ХДД на 100 шагов впереди SSD. Был случай: в одной серверной вышла из строя система кондиционирования. Умные HP-сервера на интеловских SSD райд-массивах отключились при 80С. Глупые со старыми сигейтами 3.5" продолжили работу. 80% Raidов на SSD восстановить не удалось. Олдскульные не пострадали, хотя местные говорили, что до серверов дотронуться было нельзя.
"лучшая для работы" - тоже сомнительно. Хорошо известны проблемы задержек в больших RAID-массивах, построенных на SSD.
Каждый инструмент заточен для решения своих задач. На десктопе с некритичными данными, соглашусь - кайф от скорости зачётный. В серверных решениях при дофига денег на бюджет для БД - тоже самое то. В других случаях - под вопросом, а иногда и под очень большим вопросом.

[АртемЪ]

Александр: Ну на недельку в теплое место это вы уж слишком завернули. Год- два другое дело.
А 80градусов это не теплое место это очень горячее.
Опять же рейд на SSD дело не простое, и в большинстве случаев просто не нужное, кроме зеркального рейда.
Если система крупная и скорости одного SSD может не хватать - то для этого есть серверные SSD, которые корректно работают с массивами.
А для небольшой системы обычно хватает скорости одного диска.

Answer 2

[athacker]

Хранить бэкапы на том же сервере, где они сделаны -- это косяк вооооот такого размера.

Для хранения бэкапов достаточно RAID5, чисто из соображений экономии дискового пространство на обеспечение RAID.

RAID1 (оно же "зеркало") у вас будет по объёму равен сумме всех дисков, делённому на два. RAID5 по объёму будет (кол-во дисков - 1)*объём одного диска. В случае 3-х дисков на RAID5 у вас объём будет 66% от общего объёма всех дисков. В случае 4 дисков -- будет 75% процентов. RAID1 у вас всегда съест 50% общего суммарного объёма всех дисков. RAID1 можно запилить на 2-х дисках. RAID5 -- минимум нужно 3.

Comments

[Александр]

raid 5 на порядок сложней восстановить при выходе из строя самого сервера. У меня однажды не получилось, не смотря на то, что энтропия была в пределах допустимого. А зеркало - есть зеркало.

[athacker]

Александр: Ну это, как говорится, кому что дороже. RAID5 позволяет сэкономить на дисках. А если совсем по серьёзному всё делать, то помимо RAID-ов бэкапы должны быть минимум в двух копиях, и лежать в разных географических местах (в разных зданиях, а лучше -- в разных городах).

Answer 3

[Иван]

Раз диска 4, то RAID 5 или 10.

RAID 1, говорят, норм, но там скорость чтения низкая.

Бекапам не пофигу ли на чтение?

Comments

[Марк Розенталь]

Бэкапам да, но там же не только бэкапы

Answer 4

[nfire]

Как раз в 1 рэйде скорость чтения высокая, а записи низкая.
Я бы советовал ставить ссд и 10 рэйд под бэкапы.

Comments

[АртемЪ]

Хм. А не подскажете для чего нужен десятый рейд под бэкапы? Я вот просто представить себе не могу такого.

[nfire]

АртемЪ: Что значит для чего? Для обеспечения надежности. Четыре винчестера надежней одного. И скорость приличная.
И что у вас там так бэкапится, что нужна высокая скорость записи?

[АртемЪ]

nfire: А зачем бэкапам приличная скорость? И о какой надежности идет речь?
Четыре винчестера ничуть не надежней одного кстати.
Десятый рейд обеспечивает высокую скорость чтения и неплохую отказоустойчивость. И только.
Вот мне и непонятно нафига для хранилища бэкапов нужна высокая скорость и зачем там отказоустойчивость?

[nfire]

АртемЪ: вы это у автора спросите.

[Марк Розенталь]

АртемЪ: Бэкапов много, не только от 1С, а отказоустойчивость чтобы все не потерять

[АртемЪ]

Марк Розенталь: Вы как то неправильно понимаете отказоустойчивость.
Чтобы все не потерять делают бэкапы!
А отказоустойчивость делается чтобы исключить перебои в работе! Т.е отказоустойчивость к сохранности данных никаким боком не относится.

[Александр]

... и при чём тут ссд?

[athacker]

АртемЪ: Артём, бывают такие задачи, когда "окно бэкапа" лимитировано. Одно дело, когда вам нужно забэкапить пару гигов, и это делается за 10-20 минут. А другое -- когда забэкапить нужно несколько десятков теров, причём сделать это так, чтобы то место, откуда вы бэкапы делаете, не испытывало серьёзных просадок по производительности в этот момент.

И тут уже производительность хранилища для бэкапов начинает играть заметную роль. И приходится изобретать способы, позволяющие ускорить выполнение резервного копирования -- делать снапшоты, по ним высчитывать инкременты, делать RAID10 на хранилищах, ставить 10-гигабитные сетевухи, и прочие ухищрения применять.

У нас, например, общий объём виртуальных машин, которые нужно бэкапить -- около 120 Тб. Ежедневный объём бэкапов в среднем -- около 20 Тб.

[АртемЪ]

athacker: Бывает, но не часто.
Обычно при бэкапе важно чтобы не было просадок на диске откуда делается бэкап.
Т.е чтобы пользователи во время бэкапа нормально работали, а не нервно курили.
Поэтому от диска на который делается бэкап скорости особой и не требуется.
Когда же на один диск бэкапится куча машин - тут могут возникнуть проблемы, но это решается с помощью кэша, и разнесения по времени.

[АртемЪ]

athacker: Ну и когда у вас виртуальных машин на 120Тб это несколько другой коленкор.
Такие объемы как правило размещаются не локально, а на CХД, и с бэкапом там все по другому.

[АртемЪ]

Александр: А ссд тут при том, что базы надо бы хранить именно на ссд.
Ибо скорость.
А на хдд размещать не критичные к скорости вещи, вроде бэкапов.

[Александр]

АртемЪ: Я задавал вопрос не про схд для баз данных, а про бэкап. Т.к. у топикстартера 1 сервер с 4 разъемами под винты (условие вполне однозначное), то, ИМХО, глупо предлагать SSD. Ясно, как день, что топикстартер не бэкапит по 120ТБ в день виртуальных машин, и что покупка NAS'а не входит в планы. В данном случае вполне подойдёт USB-винч даже с интерфейсом 2.0. А в самом серваке запилить два зеркала, чтоб разнести БД и шару.
UPD: ниже прочёл про сумму на систему бэкапов в 8 т.е. В таком случае, действительно, NAS спасёт отцов русской демократии.

Answer 5

[Thomas Storm]

Для БД лучше использовать RAID 10

Answer 6

[Алексей Кузьмин]

RAID5 + один диск для других нужд, но стоит заметить что сервер 1С на одной машине с AD это немного противоестественно

Answer 7

[Андрей Ермаченок]

Ну было у меня: главбуха держала зарплатную базу 1С у себя на компе на диске D (типа конфиденциальная информация, приказ директора, я и не в курсе вообще был), регулярно делала бэкапы, складывала их (!!!!) на тот же диск D. В один прекрасный вечер она собралась считать очередную зарплату, а этот диск взял и сдох.... Результат: 3 дня нервотрепки, 400$ денег, еще один такой же диск как донор - базу 1С и большинство ее документов таки восстановили, зарплату посчитали и выдали вовремя.
" @bARmaleyKA
А сколько на это дают денег?
@font
8 тысяч евро"
Не нужно складывать все яйца в одну корзину.
В чем задача? Обеспечить восстановление информации в случае аварии за разумные сроки? Тогда:
1. Купите второй точно такой же сервер. Поставьте на него на 1 диск больше, чем на первом.
2. Организуйте бэкап данных с первого сервера на второй на дополнительный диск.
3. Сделайте второй сервер тоже DC.
4. В случае отказа диска на первом сервере, возьмите запасной диск с полки и восстановите на него инфу из бэкапа.
5. Если сдохнет материнка на первом сервере - перекиньте диски на второй сервер, и он готов к работе.
6. Если первый сервер СДОХНЕТ СОВСЕМ - восстановите его на втором из бэкапов.

Comments

[Марк Розенталь]

Ну в общем случае мне можно оставить все как есть, но докупить NAS для бэкапов. Я думаю это правильно будет?
Диск с системой за пару часов восстановить можно, установив на него нужный софт. AD нужно перенести на рабочий комп отдельно.
Я прав?

[Андрей Ермаченок]

Марк Розенталь: "Ну в общем случае..."
Общих случаев не бывает. Всегда всё конкретно и индивидуально.
Чтобы не перемалывать воздух, внятно и подробно обрисуйте текущую ситуацию и выделенный бюджет.

[Марк Розенталь]

Андрей Ермаченок: Бюджет 8 тысяч евро. Есть куча SAS дисков. На Windows Server 2012R2 вертится SQL-сервер, 1С сервер, AD и CRM. Есть два физических диска: C и D. На C висит все: система, сервер и т.д. На D диск пишутся бэкапы.
Это, как я понимаю, ужасно плохо и грешновато, но с RAID я переборщил, наверное.
Нужно: не потерять бэкапы
Отказоустойчивость, так и быть, подождет до лучших времен.

[athacker]

Марк Розенталь: Лучше не пользоваться NAS-ами. Они для дома подходят, а для рабочих нужд -- не очень. По вынужденному опыту использования готовых NAS'ов (QNAP, Synology), постоянно с ними какие-то грабли были. Регулярно отваливались хранилища, почему-то слетали права на папки и пользовательские пароли. Более или менее стабильно оно работало только по iSCSI.

Если вам там реально 8 килоевро выделяют, купите лучше что-нибудь в духе HP Microserver, можно даже Gen7. Там 4 дисковых отсека, и при желании можно воткнуть 5-ый диск. Поставьте на него чистый линух или фрю, ну или даже винду, и бэкапьте на него. Просто "готовые коробки" типа NASов довольно тяжело дебажить, если с ними какие-то проблемы начинаются. Покупаешь такую "проприетарную коробку" -- предусмотри бюджет на покупку техподдержки по ней. Иначе может наступить очень неописуемый случай. А когда всё собираешь и настраиваешь сам -- оно и разбираться с этим проще, если вдруг что.

[АртемЪ]

Марк Розенталь: Диск с системой можно восстановить за 15минут. Он банально разворачивается из образа.
Т.е подходит админ, втыкает новый диск, и накатывает на него образ системного диска из бэкапа.
NAS для бэкапов это обязательно.
Систему и базы данных надо разнести по разным физическим дискам.

[Андрей Ермаченок]

Марк Розенталь:
1. "на Windows Server 2012R2 ..." А какой собственно железный сервер? Фамилия ящика, если не секрет?
2. "Есть куча SAS дисков." - из них, похоже, уже и собран один или несколько RAID'ов. Сколько их там есть живьем?
3. "Есть два физических диска: C и D." - точно физических, а не логических, построенных из "куча SAS дисков"?
4. "На D диск пишутся бэкапы. Это, как я понимаю, ужасно плохо и грешновато," Если D - это в самом деле отдельный физический диск, и на нем БэкАпы, и только они - то нормально.
5. "Нужно: не потерять бэкапы" - Чем делаются и какие бэкапы лежат на Д?
Ответьте на вопросы, а пока видно, что есть 3 риска:
1. Отказ диска С - заменяется и восстанавливается из БэкАпов с диска Д (нужно иметь запасной диск на полке).
2. Отказ дсика D - да и хрен с ним, главное вовремя это заметить и заменить, пока не отказал диск С (нужно иметь запасной диск на полке).
3. Отказ материнки сервера - бывает редко, но бывает, и нужно быть к этому готовым. Вы к этому не готовы СОВСЕМ.

[Марк Розенталь]

Андрей Ермаченок:
1. Supermicro
2. Ниче не собрано, просто новые в коробках лежат. Всего штук 15 на разные объемы
3. Точно. Они самостоятельны.
4. Бэкапы 1С делаются ей же, бэкапы CRM -- это же CRM по расписанию
Отказ материнки? Ну там если диски не умрут, купим новый сервер

[Андрей Ермаченок]

Марк Розенталь: Тогда - я бы действовал примерно по плану, что в ответе.
Диски есть, бюджет позволяет - купить второй такой же или аналогичный сервер. Сэкономить на процессоре и на памяти - в сервер архивов можно взять послабее процессор и поменьше памяти.
Кроме бэкапов баз, делать бэкап системы Акронисом и бэкап файлопомойки.
Класть бэкапы на Д и дублировать на второй сервер (Акронис это может).
В случае аварии - у вас в запасе полный комплект всего окажется.
Для С можно организовать РЭИД-1 на основном сервере, главное - не пропустить момент, когда загорится красная лампочка на одном из дисков.