Кластер на Server 2012?

Question

[other_letter]

А вот как сейчас правильно кластеры делать?
Я смотрю и вижу, что подразумевается два сервака, которые одним интерфейсом смотрят в сеть, а вторым - в библиотеку, где лежат виртуалки.
Конечно, "один интерфейс" - это всё условно.
С моего понимания кластер делается (кроме прочего) для проолжения работы при выходе из строя одного из серваков. Вроде, всё правильно по схеме. Но неужто библиотека считается такой уж надёжной?

В общем... Запутался. Как сейчас правильно?

Answer 1

[Иван]

Надежным считается общее хранилище СХД, на котором сконфигурирован RAID. Общая схема failover cluster такова: два сервера подключается к общему хранилищу (fiber channel, iSCSI) На диски серверов устанавливаются ОС. Оба сервера подключаются к общему хранилищу, на котором размечается специальный том - cluster shared volume, на котором будут лежать VHD диски. И теперь оба сервера могут использовать эти диски, то есть при отказе одного сервера происходит прозрачное переключение между узлами, и виртуальная машина продолжает выполняться на другом.

Comments

[other_letter]

Да, именно так и выглядит современная концепция. Вопрос-то у меня в другом - а если хранилище гикнется?
Был такой у меня случай: одна контора с лёгкой руки всё начала делать "по мануалам" одного из вендоров. И вот случилось нечто и один из серваков вышел из строя. Ух, рабботы было... RAID на другом серваке не открывается, там какая-то своя специфика. Техподдержка принимает заявки и на этом всё - максимум что на почту присылает статейки из собственной же вики.
Контора стоит, юзеры вопят, айтишников от работы отвлекают...
Ну, сделали... На костылях. Но случай показательный - в случае ахтунга ни саппорт ни мануалы не помогут. И абсолютно надёжных даже дорогих железок не бывает.

Куда Вы с этим хранилищем в случае проблем? Другое на замену даже в Москве подчас ждать несколько недель

[Иван]

Backup никто не отменял) Для таких случаев уже используется Disaster recovery, hyper-v поддерживает репликацию виртуальных машин в другое расположение, например в другой офис. Или просто используя DPM бэкапить виртуалки в другое расположение.

[other_letter]

Знаете... Я всё равно как-то недопетриваю.
Бэкап не отменяли - понятно. Но тогда... Даже не знаю зачем всё это городить. Если ранее я полагал, что кластер это хорошее решение для случая выхода из строя, например, материнки на сервере, то теперь читаю - это существенно другого класса решение.

[Иван]

У меня в офисе есть blade server HP c3000 с 4-мя лезвиями, на них собран кластер Hyper-v. Блэйд подключен к двум схд. На всём этом крутится основная часть виртуалок офиса. А виртуалки бэкапяться в удалённый дата центр посредством VPN и DPM. Кластер обеспечивает известную отказоустойчивость, вполне пригодную в реальной жизни, но он не защитит от пожара в офисе, от катастрофических скачков напряжения или иных непредвиденных ситуаций. А самое ценное это обычно информация, наработанная годами.

[other_letter]

Можете подсказать по бюджету такого решения? Плюс-минус лапоть.
И какие у Вас мощности?

[Иван]

По цене не скажу, покупалось еще до меня, да и цены поменялись уже. Можете сами поискать в интернете: СХД IBM storewize 3700 и HP MSA2000. Шасси блейд сервера HP C3000 и 4 сервера HP ProLiant BL460c G7. Думаю под миллион. Бэкап в датацентре около 40 000 в месяц.

[other_letter]

1. HP ProLiant BL460c G7 устарел, но суть понятна. 150-200 тыс
2. Шасси грубо 800 тыс
3. HP MSA2000 цену не понял. Вроде как порядок 200 тыс
4. СХД IBM storewize 3700 с несколькими дисками грубо 500 тыс

Как я понимаю пп3 и 4 это одно и то же, но от разных вендоров (одно и то же - условно)?

...Но в итоге, увы...
2-2,5 ляма. И это только железо.

[Иван]

other_letter: Да, 3 и 4 это СХД, подключены по оптике к шасси HP c3000. Не дешёвое удовольствие конечно. Но в этом кластере крутится около 20 виртуалок, что удовлетворяет потребностям среднего офиса.

[other_letter]

на шасси два оптических контроллера, каждый к отдельной СХД?
Двумя СХД вы страхуетесь от выхода из строя одной из них, всё верно?

Вопрос уже по Вашему конфигу - а не боитесь прихода писца на шасси?

На блэйдах у Вас что? HyperV это наверняка винда 2012.
На каждом лезвие поднят сервак, все они объединены в кластер с целью предоставлять сервисы одних и тех же виртуалок, которие живут на двух СХД. Всё правильно понял?

[Иван]

Да, два контроллера. Нет, просто на одном СХД не хватает места) Резервирование в удаленный дата центр. Если накроется шасси - то будет жопа. Но покупать второе шасси это знаете как то совсем уж расточительно.. На блэйдах 2012 Hyper-v. На каждом лезвии ОС 2012 с ролью hyper-v и объединены в кластер.

[other_letter]

Уж не серчайте, но мне интересен Ваш клинический случай ;)
Ещё вопросы.
В случае краха СХД что? Перенаправляете на другую?

Кластер из лезвий преследует цель работы при выходе из строя самих лезвий? То есть грубо... hyper-v с виртуалками доступен через стандартный кворум, а клиенты обращаются к самим виртуалкам, вот так?

Если бы был выбор - сейчас бы отстраивали бы так же?

[Иван]

Ну мы думаем что всё будет работать хорошо и долго) Ну а в теории - есть еще пару железных серверов, поднимем на них hyper-v и включим основные сервисы.

Кластер это очень удобно - виртуалки не привязаны к конкретному серверу. Если например нужно освободить мощности - можно сделать live migration на любой из трех блэйдов, абсолютно прозрачно и без простоя. И конечно резервирование - если произойдет сбой в хостовой ОС, или проблемы с железом - виртуальная машина просто запустится на другом блэйде. Кворум нужен для того, что бы в случае потери связи между двумя серверами в кластере они не продолжили работать оба.
Клиенты да, конечно обращаются к виртуалкам. Кластер для них абсолютно прозрачен.
Строил это не я, но в целом архитектура вполне жизнеспособная.

Answer 2

[Vladimir Zhurkin]

>Я смотрю и вижу, что подразумевается два сервака, которые одним интерфейсом смотрят в сеть, а вторым - в библиотеку, где лежат виртуалки.

Часто для примеров используется такой способ, это правда. Но в реальной работе я не рекомендую использовать два сервера. В данном случаи, СХД может принимать участие в кворуме. Но это почти splitbrain и я бы рекомендовал просто остановить работу, чем продолжать так его использовать.

>С моего понимания кластер делается (кроме прочего) для проолжения работы при выходе из строя одного из серваков. Вроде, всё правильно по схеме. Но неужто библиотека считается такой уж надёжной?

СХД конечно надежны, но не настолько. Обычно СХД имеет две головы (контролеры) и при создание кластера она может принимать участие в кворуме . На СХД можно поднять RAID или использовать вообще не СХД , а так называемые JBOD корзины. И всю разбивку и RAID делать средствами Windows (начиная с 2012)

При этом если вы собираетесь использовать виртуальные машины, я бы рекомендовал поднять сервер непрерывной репликации, который позволит вам сделать откат виртуальной машины очень быстро.

СХД кстати, сами могу быть в зеркале и может быть создан СХД для непрерывной репликации.
При создание кластера, надо еще помнить о коммутаторах, которые могут выйти из строя и тут приходят коммутаторы которые умеют стэкироватся между собой.

Comments

[other_letter]

->В данном случаи, СХД может принимать участие в кворуме. Но это почти splitbrain и я бы рекомендовал просто остановить работу, чем продолжать так его использовать.

Вы могли бы иначе написать? Я не понимаю фразы.

->так называемые JBOD корзины. И всю разбивку и RAID делать средствами Windows
А писец тут не закрадётся? Средства винды - это менеджер дисков ОС имеется ввиду?

->коммутаторы которые умеют стэкироватся
кстати, не имел чести трогать. Они как работают-то? Я полагал, что стек это по сути просто скоростная шина и передача служебной инфы (криво написал... В общем, общение таблиц с МАСами, к примеру и возможность конфигурировать один через другой). Нет? Если свитч ёкнулся - чем поможет стэкируемыйй?

[Vladimir Zhurkin]

other_letter: Вы могли бы иначе написать? Я не понимаю фразы.
При создание машин из двух кластеров, при отвали одной из машин кластер пропадает. Те ни одна из машин не может продолжить работу, так как нет понимание кто отвалился/умер. Это называется split brain . СХД тут может поучаствовать в "выборах" и если машина одна из машин отвалилась, то машина с СХД будет продолжать работать. Так как СХД дает некий вес. Но это очень опасная ситуация.

>А писец тут не закрадётся? Средства винды - это менеджер дисков ОС имеется ввиду?
В windows 2012 есть отдельная тема про замену СХД. Менять на эту технологию или нет, каждый решает сам. Но не у всех найдется поллимона на СХД начального уровня.

От себя скажу, использовали - работает нормально.
Более подробно о технологии тут
https://www.techdays.ru/videos/7483.html
https://www.techdays.ru/videos/7164.html

>Нет? Если свитч ёкнулся - чем поможет стэкируемыйй?
Зависит от уровня коммутатора.
Обычно схема простая - часть сетевых плат с одного сервера в один коммутатор, часть в другой.
На сервере используем bonding + vlan. При отвале одного из коммутаторов, продолжаем работать на другом. Но и тут есть свои подводные камни.