Как спланировать отказоустойчивую СХД для Hyper-V Cluster?

Question

[Артем]

Добрый день, коллеги.

На данный момент есть несколько отдельных Hyper-V хостов с большой плотностью виртуальных машин на Windows 2012 R2.

Стоит задача обеспечить непрерывный сервис:
- убрать время простоя при установке обновлений
- убрать/снизить время разворота машин из бэкапа в случае отказа одного из хостов (сейчас пользуемся фичей Instance Recovery в Veeam B&R)

Как я это вижу:
Что касается хостов виртуализации:
- собираем Hyper-V Cluster из имеющихся хостов (используя live migration избавляемся от простоев на время апдейтов самих хостов)
- мигрируем хранилища виртуальных машин на общее хранилище кластера (благо, Hyper-V умеет это делать "на лету", избавляемся от потери данных при отказе хостов)

Что касается общего хранилища - это и есть мой вопрос.
Как его лучше реализовать при следующих параметрах:
1. Необходима отказоустойчивость
2. Необходима масштабируемость
3. На брендовые железки денег пока нет
4. Не хотелось бы использовать FC
5. Возможно использование 10GE

Хотелось бы получить рекомендации по технологиям и железу, с учётом того, что инфрастурктура строится основательно и надолго, и совсем не хотелось бы через пару лет биться головой о костыли и недочёты, допущенные на данном этапе.
Опыта в построении СХД не имею, потому и прошу помощи.

Comments

[Евгений Денисов]

ЧТо в итоге развернули?

[Олег]

Присоединяюсь к вопросу. Чем же всё закончилось?

[Артем]

Олег: в результате Storage Spaces + ssd tiering на кластере из двух голов (недорогих. HP) с отжачей файлов через SoFS smb 3.0 по 10Гбит/с)

[Олег]

Артем: Под двумя головами, я правильно понимаю, что это две полки JBOD? Или же это два сервака с подключенными JBOD'ми? Если говорить про отказоустойчивость, то в данном случае у вас решается этот вопрос?

[Артем]

Олег: головы - серваки... отказоустойчивость управления схд - кластер из 2х голов, отказоустойчовить JBOD - их пока 2, тестим, если все ок, будет 3ий.

[Олег]

Артем: Рассматриваю такой же вариант решения для своих задач. Пока искал инфу наткнулся на дальнейшие проблемы с масштабированием, вот тут немного расписаны причины blog.trinitygroup.ru/2014/01/Scalability-Storage-S... .
Как производительность в целом? Если будете докупать 3-ю полку, портов на ваших HP'ах хватит для подключения или же SAS-switch нужен будет?

Answer 1

[Евгений Ферапонтов]

В Q3 2016 выйдет WS2016 с его фичей Storage Spaces Direct -- аналог VMware VSAN. Требования: не менее 4 хостов, 10Гбит сеть и редакция Datacenter.
Уже сейчас на WS2012R2 можно сделать SOFS, как писалось выше.

как избежать выхода из строя SAS JBOD'а,

JBOD'ы можно каскадировать. Два JBOD'а и mirror pool позволят избежать полного отказа одной полки. Отдавать хранилище хостам Hyper-V будете по SMB3.0, а если бюджет позволяет еще и RDMA сетевушки прикупить, тогда вообще проблем знать не будете.
Если будете строить какой-нибудь из Storage Spaces основательно и надолго, внимательно почитайте блог команды Storage Spaces на Technet'е, особенно их рекомендации касательно количества SSD на полку.
Также настоятельно рекомендую к прочтению
"руководство" по созданию SOFS: www.aidanfinn.com/?p=13176
планирование SDS на базе WS2016: www.aidanfinn.com/?p=18608
да и в целом неплохо было бы почитать весь этот блог -- этот мужик имеет MVP и пишет в основном про Hyper-V и хранилище под него.

Также никогда не стоит сбрасывать со счетов брендовые СХД от каких-нибудь HP или Dell. Стоить они будут сильно дороже за ту же производительность, но в случае проблем бить по голове будут не вас, а поддержку вендора.
P. S. Если все-таки решите смотреть в сторону Storage Spaces, рекомендую ознакомиться: www.supermicro.com/products/nfo/CiB.cfm
а также погуглить решения Cluster-in-a-Box от других вендоров. Это будет наиболее простым способом развернуть SOFS: обе ноды и дисковая полка в одном корпусе с заранее продуманными интерконнектами. Включи, настрой, используй. Расшириться в случае необходимости можно каскадированием JBOD'ов той же Supermicro, которые сейчас уже совершенно аномальной плотности существуют: до 90 3.5 дисков в 4 юнитах.

Comments

[Артем]

Спасибо за самый развёрнутый ответ.
Учитывая, что наша компания предоставляет услуги b2b, по голове в любом случае будут бить меня))

[Александр]

Артем: А вы в ответ саппорт, а не себя же.

[Евгений Ферапонтов]

Артем: Почему-то только сейчас до меня дошло, что я ошибся.
Выход одного JBOD'а из строя допускается при наличии ТРЕХ полок в mirror pool. Не двух, как я ответил раньше.

[Олег]

Евгений Ферапонтов: Евгений, я правильно понял, что вопрос выхода из строя одной полки из ДВУх не решит вопрос отказоустойчивости всего кластера в целом. В режиме active/active это не полная копия друг друга, которая позволяет сохранить доступ к данным при выходе из строя одной из них?

[Евгений Ферапонтов]

Олег: По поводу конкретных цифр "сколько надо Х чтобы пережить отказ Y" лучше читать напрямую у майкрософта: social.technet.microsoft.com/wiki/contents/article...
>режиме active/active это не полная копия друг друга
Все данные хранятся на дисках внутри JBOD'ов. Сами ноды SOFS можно представить как контроллер — на них ничего не хранится, они просто сторидж по сети отдают.
Типичная схд на винде "защити меня от отказа одной единицы вообще всего" — это:
2n нод SOFS
от трех JBOD'ов
полностью задублированные SAS HBA, сетевые адаптеры, кабели, блоки питания, и т. д.

[Евгений Ферапонтов]

Олег: Короче, вы неправильно ставите вопрос. Кластер от отказа полки не развалится. Рабочая нагрузка развалится. Данные развалятся, да, если полок меньше трех. Но абсолютной защиты как бы не бывает. Типичная СХД от именитого вендора — это, грубо говоря, один JBOD и две ноды SOFS (только на каком-нибудь очень проприетарном линуксе с особенной вендорской магией). Если у вас в именитой полке бэкплейн откажет (то есть навернется "JBOD"), ваши данные на ней тоже будут тю-тю.
Из рисков исходите. На супернадежный SOFS из дофига полок и дофига нод может метеорит упасть.

Answer 2

[Дмитрий]

Для безбедного существования кластера нужна надёжная СХД.
Вижу два варианта или брать железную двухголовую брендовую СХД или реализовывать конвергентное решение с помощью Starwind или подобного програмного продукта (например подобное есть у HPE, называется - VSA)

Comments

[Артем]

Я сейчас посматриваю в сторону Microsoft Clustered Storage Spaces + SOFS, но пока не понимаю как избежать выхода из строя SAS JBOD'а, не вижу, чтобы там можно было объединять в один пул диски с разных JBOD'ов.

Есть ещё варианты реализации при помощи различных linux-решений, но я в эту сторону не копал толком.

Answer 3

[Клёвый Админ]

Имхо, лучше на каждый хост свою DAS (можно вообще без СХД, а просто собрать Storage Pool с SSD ) СХД и репликацию VM средствами H-V. Это гораздо надёжнее и дешевле.

Comments

[Артем]

Когда хостов 2-3-4, это ещё применимо. У меня уже на руках 5 хостов виртуализации и будет ещё больше, боюсь, без централизации данных на СХД я выем все возможные бюджеты, не говоря уже о том, что непрерывного сервиса я не получу.

[Клёвый Админ]

Артем: смотря какой уровень отказоустойчивости нужен. Вводных бы: по размерам данных\иопсам\патерну\размеру горячих(холодных) данных\максимальной скорости чтения и записи.

[Артем]

Евгений Быченко: не понял, что вы подразумеваете под уровнем отказоустойчивости)

Размеры данных...
Что есть сейчас:
1.5ТБ на SSD
1ТБ на 10К SAS дисках (RAID10 with write-back)
12ТБ на 7200 SATA дисках (RAID10 with write-back)
Это объёмы на сейчас, на 5 хостов.

Думаю, масштабироваться буду в тех же соотношениях, что и сейчас, скорость роста компании - 1 хост виртуализации в 4 месяца.

Гостевые машинки - постоянно работающие инфраструктурные виртуалки, несколько домен-контроллеров, порядка 4 MS Exchange, несколько терминальных серверов, в общем, сильно холодных данных нет)

Answer 4

[tedkuban]

Storage Pool на SSD не собрать на 2012 R2, там только SAS поддерживается. Недавно решал подобную задачу. 10Gb сетки в общем случае должно хватать, хотя, конечно, нужно считать подробнее. Если действительно необходимо автоматическое обновление хостов - без кластера сложно обойтись. Существует несколько решений для создания iSCSI HA Storage на относительно обычном оборудовании, в том числе Starwind, Open-E, Nexenta, также можно самостоятельно собрать две хранилки на линуксах и объединить в HA. Есть еще вариант - берем два сервера с SAS HBA и подключаем к одной дисковой полке. В общем, тема слишком обширная для одного поста, в личке готов проконсультировать.

Comments

[Дмитрий]

Вполне нормально собирается SS на ws2012r2 из ssd дисков. И даже тиринг на них работает. А вот для кластерных пулов нужна поддержка команд scsi-3 которой в не серверных дисках нет.

[Клёвый Админ]

"Storage Pool на SSD не собрать на 2012 R2, там только SAS поддерживается"

Это кто вам сказал? Вынужден вас разубедить вот этим скриншотом.
https://yadi.sk/i/HDPef3stppNXu - обычный экспандер в обычные диски в сервере, сейчас стоит рейд (но тоже самое и с HBA) пропускающий диски в систему as is. Тоже самое собрано рядом и на SATA + SSD, просто через PS вы определяете какие диски медленные какие нет. Вроде без бубна всё.

В StoragePool поддерживаются любые диски, через PS можно сказать, что SATA это быстрое хранение и ему будет пофиг, он будет перемещать туда блоки горячих данных и надеятся на лучшее =)

[Артем]

Да, про Storage Spaces читал внимательно, в спеках указано: SAS, SATA или USB.

10Г сетки хватит, я рассчёт уже проводил.
Меня интересуют больше стабильные продакшн варианты всего, что ниже, собранные на обычных серверах.

Пока склоняюсь к Clustered Storage Spaces на SAS JBOD, подключенных через SAS свитчи.
Но, в идеале бы, конечно, исключить лишний слой оборудования и остановиться на возможности подключать новые серваки к 10Г сети в некий кластер хранения данных.

[RazorBlade]

Артем: Если смотрите в сторону чисто MS решения на SOFS, то рекомендую подождать выхода Windows Server 2016 - там все гораздо лучше сделали.

[Артем]

RazorBlade: есть какая-то достоверная инфа? Мож ссылка где почитать? Я не нашёл ничего глобального в этом плане.

[RazorBlade]

Артем: Я смотрел пару вебинаров на тему SOFS в WinServer2016 и там действительно много нововведений и улучшений. Поискать можно по фразе Storage Spaces Direct 2016

Answer 5

[outlaw_cp]

Storage Spaces Direct отличный продукт, судя из того, что мы видели в TP, но у него очень серьезные требования, как в плане кол-ства железа в кластере, так и в финансовом плане. Честно говоря, програмные решения тут были бы уместны. Как уже сказали из бюджетных это Старвинд или HP VSA. В Старвинде даже по-русски общаются)