Как организовать СХД на 500 Тб?

Question

[Андрей]

Не очень разбираюсь в построении СХД, но хотелось бы узнать куда копать. Нужно сделать СХД на 460-500 Тб, из которых 40 Тб - горячее хранилище, остальное - холодное хранилище. Интересует хотя бы примерная стоимость, какое оборудование вообще нужно и возможно какие файловые системы сейчас наиболее предпочтительные?

Answer 1

[Dimonchik]

копать сюда

https://www.ovhcloud.com/en/bare-metal/high-grade/...
36*18/2 = 324 Тб один сервер , если Raid 5-6 точнее 50-60 то можно и одним обойтись, но помоему эти рейды на таком количестве дисков непримениымы, поэтому класситка 10

от этой стоимости пляшите - в сторону уменьшения, ессно

например - 10к серверов по 6 дисков, вот туда raid5060 уже встанут, емкость дисков по 16 уже пром - итого по 64Тб на сервер

дальше - распределенные FS типа Riak / min.io etc

ну и наконец - ленточные системы, но они, конечно, не просто холодные, а ледяные, но - опять же - вы не говорите специфику данных бизнеса, может и подойдут

по итогу выбор будет из двух

(*)несколько дешевых серверов с усложненным администрированием
или один-два дорогих

варик (*) лучше тем что можно разнести по разным ДЦ, и странам, иногда это важно

Answer 2

[Алексей Черемисин]

Весь вопрос - под какие цели нужно хранилище?
Если под блобы виртуалок или подключаемые сетевые диски к виртуалкам, то рекомендую присмотреться к CEPH, настоятельно рекомендую.
Если же нужна большая файлопомойка, то здесь тоже все непросто. Можно поверх CEPH сделать samba/nfs.
Можно развернуть AFS. Можно Gluster, но тут проблема с маленькими файлами - будет сильно тормозить.
А можно попробовать поставить SeaWeedFS, он отлично подходит для мелких файлов.

Но! Если пользователи должны получать удаленный доступ, то все равно придется ставить что-то типа samba/webdav/nfs.

PS. И да, развертывал хранилище таких размеров на основе CEPH и кучи сервисов. 5-9 серверов cо сдвоенными Intel Xeon 2840, 64 Gb, 10G ethernet + диски из расчета дублирования или троивания объема.
Другими словами для 500Тб нужно как минимум 1 Петабайт сырых дисков, а лучще 1,5 Пб.
PPS. Скорость в хнаниличе на infiniband 40Gb (вместо ethernet 10G) была в районе 7GB/s при копировании блобов хранилища. Диски были HDD 7500 разной емкости.

Answer 3

[Евгений Болотов]

Для начала стоит определиться с задачами, которые решала бы СХД, на сегодняшний день это некое универсальное надёжное хранилище данных под какие-то типовые рабочие нагрузки, такие как виртуализация, СУБД , файловое хранилище, документооборот, везде где есть отказоустойчивая кластеризация. Как только сделаете правильную постановку задачи, определитесь с приложениями, типом доступа к СХД (а СХД это преимущественно блочный доступ: FC, iSCSI, SAS), определитесь с количеством хостов, которые вы хотите подключать к хранилищу, вы сможете определить какое хранилище вам нужно, и это может быть вообще не СХД.
Примерная стоимость дисков:
Диск SAS Seagate 14Tb ST14000NM004J (полезный объём 12,73ТБ) –290$
Считаем RAID6 (8+2) 500ТБ - 49 дисков + 2 запасных, итого 14790$
Стоимость Samsung Enterprise SSD, 2.5"(SFF), PM1653, 7680GB, SAS, 24Gbps, R4200/W3700Mb/s, IOPS(R4K) 770K/135K, MTBF 2M, 1DWPD/5Y – 1560$
Считаем RAID6 (8+2) 50ТБ – 10 дисков + 1 запасной, итого 17160$
В итоге только стоимость OEM дисков будет 31950$.
Стоимость 1 сервера –от 5k$, СХД – от 10k$

Answer 4

[dimone73]

Вопрос стратегический, на миллион долларов, а знаний не хватает? Дешевле заказать у провайдера с такими познаниями.

Answer 5

[d-stream]

абстрактно: HPE MSA 2062 с 16Gb FC или 25GbE фабриками и их фирменный MSA-DP+ RAID (сам умеет релоцировать холодное-горячее-тёплое)
но сейчас это окажется дорогим и неудобным в плане поддержки

Answer 6

[Ava256]

Посмотрите хранили Lenovo DM Series с технологий fabric pool

https://www.lenovo.com/us/en/c/servers-storage/sto...

https://thinksystem.lenovofiles.com/storage/help/t...