Доступная отказоустойчивая СХД возможно ли?

Question

[Automatic]

Здравствуйте товарищи!

В общем вопрос в следующем:

Необходимо хранить порядка 40Тб данных, данные эти на 90% состоят из видео\фото файлов, остальное документы - шары подразделений, шары профилей пользователей или бекапов профилей. Обязательно нужна высокая доступность. Доступ файловый smb 2.0 и 3.0, возможно в перспективе понадобится блочный доступ iscsi. Снепшоты и дедупликация. Кластер из 2-4 нод, ноды с резервируемыми блоками питания, по одному процессору, 10 GbE интерконнект. И самое главное цена вопроса, открытых цен на деревянные СХД нет, мильен бюджета максимум.

Есть ли реальная возможность сделать отказоустойчивую систему хранения данных на недорогих компонентах, таких как бытовые но надежные sata hdd\ssd, руководствуясь данными по процентам отказа.

Не используя деревянных контроллеров raid, хочется получить программно определяемое хранилище (SDS, Software-defined storage). Желательна штатная отработка отказа диска\ноды автоматическая ребалансировка. Поддержка тиринга\кеширования на ssd, дедупликация. Не используя дедушкин и энтерпрайзный FC. Не используя sas диски.

Пока я вижу вариант связки из 3-4 SSG-5018D8-AR12L, 4 x ssd 400Gb, 12 x hdd 3Tb. 1-2 10GbE коммутатора(netgear\dlink\tp-link). В качестве операционной системы и управляющего программного обеспечения: Windows Server 2016 - Storage Spaces Direct.

Еще один вариант который кажется очень даже суровым это Hyper-V в связке с ScaleIO или Starwind

Storage Spaces Direct - хотелось бы заменить на Nutanix CE (куча плюшек, но существует ограничение на диски :(, его как то обходят но эти методы на просторах интернетов я не нашел), или Nexenta, или ScaleIO, StarWind, или что то еще за адекватные деньги чего я не знаю.

Возможно сгодится и деревянное СХД модных вендоров, но оно должно быть с файловым доступом, так как ставить отдельные файлеры дополнительные затраты.

Плюсом будет если поверх хостов можно будет использовать легкие виртуальные машины.

Самый крайний вариант это Dell PE 730XD набитый по полной дисками, с бекапом на копеечный сторадж собраный на коленке с кучей дисков.

Есть ли смысл в зеркале\кластере из 2-4 Synology, Qnap и подобного? Кто-нибудь использовал такое? Очень смущает отсутствие резервируемых блоков питания. Из практики Promise ns6700 две штуки накрылись.

Актуальные и модные штуки вроде iops да latency - не очень актуальны, только хардкор только 24/7 доступность

Answer 1

[athacker]

Ну, сами подумайте, что бы вы ответили человеку, который заявляет: хочу промышленную СХД с обвязкой (коммутаторы) и дисками собрать на коленке, бюджет на всё в миллион рублей (~17000$).

Тут уж, дорогой друг, либо коленки, либо промышленная СХД (особенно учитывая хотелки в виде тиринга, дедупликации, снапшотов и прочего).

1) SATA-диски под большой нагрузкой будут грешить silent errors (т.е. искажениями данных, которые никто не заметит, пока не будет поздно (например, при ребилде массива). Поэтому софт должен будет уметь эти ошибки выявлять в оффлайне (как scrub в ZFS или background device scanner у ScaleIO).

2) Цены на "деревянные" (что бы это не означало) СХД в интернетах таки есть. Например, тут: stss.ru/products.html

3) Если собираетесь покупать ScaleIO, то там адекватных денег не ждите. Запрашивали несколько месяцев назад цены -- 44k$ за 50 Тб СЫРОЙ ёмкости. Когда соберёте массив на 4-х нодах, получите меньше 20 Тб реальной ёмкости. ScaleIO можно юзать и за так, но про поддержку забудьте. Если у вас реально суровый прод, то без поддержки -- это искать прилючения на свои нижне-задне-спинные мышцы.

4) Дедупликация-то вам нахрена? Учитывая массив данных, который вы собираетесь там хранить (документы/фотки/видео), профит от дедупликации будет чуть меньше, чем никакого, а вот нагрузка на память и потенциальные глюки будут ого-го.

Comments

[Automatic]

Спасибо за ответ, хочется обойтись полу коленным вариантом :) промышленные сервера супермикро или аналогичные, есть доступ к легальным лицензиям MS. 1 коммутатор - влуча смерти можно временно заменить на 1GbE. Дедупликация по идее должна отрабатывать на ура, данные то часто дублированные или очень часто встречаются повторяющиеся куски этих самых данных. В промышленных СХД одни диски выходят как весь бюджет. Или я не знаю в какую сторону и на каких вендоров смотреть. И как я понял не все СХД начального уровня идут с файловым доступом.

[athacker]

На лицензиях MS вы сможете только Storage Spaces крутить. Не самый плохой вариант, в общем-то. Соответственно, других вариантов, получается, что и нет.

Не, ну можете, конечно, попробовать ScaleIO или Ceph в проде :-)

[АртемЪ]

Automatic:

Дедупликация по идее должна отрабатывать на ура

Это на видеоконтенте? Там как правило вообще нечего дедуплицировать. Разве что копии одинаковых файлов раскиданные по папкам пользователей.

[АртемЪ]

Ну и из бюджетных и более менее вменяемых не требующих серезной доработки напильником только Storage Spaces, все остальное либо сырое до невозможности, либо доведенное до ума, но за серьезные деньги.

[Automatic]

АртемЪ: в том то и дело что очень много копий в разных местах, да и я склоняюсь к storage spaces

[Everything_is_not_so_bad]

athacker: польза от дедупликации потенциально может быть, только если файлы видео не занимают 80% всего места.
Особенно имея в виду

Разве что копии одинаковых файлов раскиданные по папкам пользователей.

(@Jump)
Среди корпоративных документов часто есть дубликаты.

Перед принятием решения это стоит проверить - Automatic

[athacker]

Роман Мирр: как я уже говорил выше, профит от такой дедупликации будет ничтожный. А вот обслуживание дедупликации обойдётся в копеечку. В частности, дедупликация очень любит большие объёмы RAM. Дешевле будет докупить ещё дисков, нежели обеспечить дедуплицированные дисковые 40 Тб соответствующим количеством оперативки.

Answer 2

[АртемЪ]

Есть ли реальная возможность сделать отказоустойчивую систему хранения данных на недорогих компонентах, таких как бытовые но надежные sata hdd\ssd, руководствуясь данными по процентам отказа.

Разумеется такая возможность есть, и эта возможность никак не связана с данными по процентам отказа. В данном контексте это бесполезная информация.

По поводу остального - вы уж определитесь что вам нужно отказоустойчивая система или все эти перечисленные вами плюшки. И правильно расставьте приоритеты.
А так на данный момент просто не понятно что вам нужно.

Если хочется делать на бытовом железе - все плюшки либо реализовывать самому изобретая велосипеды и подпирая их костылями, либо отказываться от них.

Для начала нужно составить список требований к системе в порядке убывания их важности, четко определиться что конкретно и для чего нужно, а уж потом размышлять про дедупликацию и особенности файловых систем

Comments

[Automatic]

главное отказоустойчивость и доступность за малые деньги :)

Answer 3

[5tgb5tgb]

Посмотрите в сторону Netapp FAS на ёмких NL-SAS дисках. Например Netapp FAS 2554 с дисками по 4 ТБ

Comments

[Automatic]

спасибо вам, обязательно изучу ответ

Answer 4

[pred8or]

Не используя деревянных контроллеров raid, хочется получить программно определяемое хранилище (SDS, Software-defined storage)

Если посмотреть определение SDS в википедии, да почитать другие источники, то можно узнать, что этот термин - такой же маркетинговый булшит, как и всё остальное про SD*. По сути - абстракция и виртуализация имеющихся аппаратных (деревянных?) хранилищ. Тех же SAN или NAS.

Так что определитесь с тем что на самом деле нужно, а дальше - всё решаемо в рамках достаточно скромных бюджетов. Без использования EMC или, к примеру, IBM.

Comments

[Automatic]

пока я подразумеваю под sds это программная прослойка на стандартном х86 железе, будет ли она ставится на на голый метал или запускаться в вм с прямым подключением дисков особо не важно. и очень не хочется использовать raid контролеры, так как их отказ далеко не всегда заканчивается благополучной заменой.

Так что определитесь с тем что на самом деле нужно, а дальше - всё решаемо в рамках достаточно скромных бюджетов. Без использования EMC или, к примеру, IBM.

по факту нужен емкий,доступный, отказоустойчивый в рамках бюджета NAS

[pred8or]

В принципе, если сервера Supermicro в конфигурации, схожей с той что на сайте, то да, каждый из них вполне может быть NAS. Шасси есть, процессор есть, винда есть. Останется решить с дисками и оперативкой - тут уж исходите из своего бюджета. Даже если

Актуальные и модные штуки вроде iops да latency - не очень актуальны

я всё равно предложил бы взять на пробу несколько SATA 7K для медленного объёмистого хранилища и SAS 10-15K для шустрого и побенчмаркать. А дальше, имея на руках все циферки, уже решать

Answer 5

[Fiasco]

вот такую статейку читали?
https://habrahabr.ru/post/323114/
или купить безлимитный старвинд на две ноды за ~500к рублей, на нем строить windows-кластер, который может все желаемое, как раз на миллион наверно и получится

Comments

[Automatic]

Quadstor это что то из области freenas и прочих торенто-хранилок, а старвинд да очень крутая штука и бесплатная без поддержки, но я еще не понял\не тестировал непонятно как она использует диски и как работает защита от сбоев дисков\сети\нод

[Fiasco]

отказоустойчивостью у старвинда управляет windows-кластер, при падении одной из нод виртуальные машины, сетевые шары и прочие роли мгновенно переезжают и продолжают работать на другой ноде без остановки. при востанорвлении ноды происходит синхронизация. очень крутое решение, поддерживает рам и ссд кэши. при вашем то бюджете вам либо в сторону свободного ПО смотреть, либо старвинд

[outlaw_cp]

Fiasco дело говорит. 2-нодовый Старвинд на двух Супермикрах с высокой дисковой плотностью должен без проблем справиться с задачей при умеренном бюджете. Тут вам и дедуплицация (правда смысла в ней я не вижу, учитывая тип хранимых данных) и кеши и возможность использовать Tiered Storage Spaces.
Более того, они недавно обновили бесплатную версию. Она теперь без ограничений по объему, фичам, количеству нод. Единственная ее особенность - через 30 дней Старвинд консоль перестает работать и управлять ей можно только через PowerShell. Ну и, конечно, поддержка в ней отсутствует. Для серьезного продакшена, естественно, лучше приобрести коммерческую версию.

[Fiasco]

outlaw_cp: еще было интересное ограничение в билдах серии 9ххх бесплатной версии старвинда - нельзя было добавить роль гипер5 на сервер с установленным старвиндом. вы не в курсе, нынче это ограничение снято? если да, то тогда вообще сказка, можно сказать бесплатный инструмент с огромным набором функций

[dobromin]

А кто то уже QUADStor в продакшине использовал?