Стоит задача организовать хранение 30 ТБ фото и видео материалов с гарантией того, что ни один бит хранимых данных не исказится. Как это реализовать?

Question

[Иван Мельников]

Данные: 20 ТБ видео-роликов и 10 ТБ фото.
Требования: гарантирование неизменности и сохранности данных. Для каждого видео-ролика и фото при записи в хранилище будет подсчитана хеш-сумма, которая будет хранится в БД, расположенной на этом же хранилище.
Нагрузка на хранилище: частое последовательное чтение и редкая запись.
Высокая производительность не нужна.
Как это реализовать? Какой raid-массив выбрать? А если не raid-массив, то что?

Comments

[sim3x]

Бюджет
Скорость доступа
Расположение
?

[Иван Мельников]

sim3x, Пока без бюджета. Бюджет ещё рассматривается, но чем меньше, тем лучше. Нет смысла тратить больше, чем достаточно.
Скорость не важна.
Расположение – на сервере предприятия.

[sim3x]

Иван Мельников,
бу стример и двойной набор касет
www.overlandstorage.com/blog/?p=323

[Иван Мельников]

sim3x, первый раз о таком слышу.
А если выбирать из типов RAID, то какой наиболее подходящий?
ps. Почитал. Стриммер точно не подходит.

[sim3x]

Иван Мельников, никакой
На таких обьемах у вас при вылете 1 диска хранилище уйдет в синхронизацию на неделю

Собираете 3+ пк (без raid) и делаете из них кластер для хранения

[Иван Мельников]

sim3x, А как же RAID-10 (RAID-0 из зеркал по 2 диска)? Здесь вроде не чему перестраиваться.

[sim3x]

Иван Мельников,
У вас вылетел 1 диск на 3Тб
Вы заменили упавший диск
Что нужно сделать, чтоб хранилище заработало?

У вас вылетело 2 диска в raid10?
Что произошло с вашим массивом?

[Иван Мельников]

sim3x,

У вас вылетел 1 диск на 3Тб
Вы заменили упавший диск
Что нужно сделать, чтоб хранилище заработало?

Если это RAID-10, то нужно в упавшем RAID-1 скопировать данные с выжившего диска на новый.

У вас вылетело 2 диска в raid10?
Что произошло с вашим массивом?

Вероятность вылета 2-х дисков из одного зеркала одновременно крайне мала. Вероятность разрушения RAID-массива можно оценить.
Например, у нас имеется RAID-10 из 4-х пар дисков по 8 ТБ (зеркал), соединенных в RAID-0. Полезный объем – 32 ТБ.
Предположим, что вероятность выхода из строя нового жесткого диска в первые 3 года работы равна 0,08.
Предположим, что вероятностное распределение выхода диска из строя от отработанных дней равномерное. Вычислим вероятность выхода из строя двух дисков из одного зеркала при условии, что между моментами их вылета прошло меньше 7 полных суток. (Мы закладываем 7 полных суток на копирование данных с выжившего диска в зеркале на новый, который мы поставим вместо вылетевшего.) Эта вероятность равна 0,000087 (Можете проверить). Но у нас 4 зеркала. Какова вероятность, что хотя бы одно из них безвозвратно разрушится в течении 3- лет? Эта вероятность равна 1 - (1 - 0,000087)^4 = 0,00035. То есть шансы безвозвратно потерять данные равны 2874:1. Мне кажется, что этого достаточно.

[sim3x]

Иван Мельников,

Если это RAID-10, то нужно в упавшем RAID-1 скопировать данные с выжившего диска на новый.

и как сделать хранилище на 30тб на 1?

(Можете проверить)

)))
Нет, мне одного своего случая и нескольких чужих хватило
Но вы можете проверить сами

[Иван Мельников]

и как сделать хранилище на 30тб на 1?

Например, RAID-10 из 4-х пар дисков по 8 ТБ (зеркал), соединенных в RAID-0. Полезный объем – 32 ТБ.

[sim3x]

Иван Мельников,
и как сделать хранилище на 30тб на raid1?
Не raid10

PS seagate - не советую использовать впринципе
А новые версии любых вендоров - пока диски не пройдут обкатку хотя б 3-4 года

[Иван Мельников]

sim3x,

и как сделать хранилище на 30тб на raid1?

Никак. Я не понимаю суть вопроса. Зачем нам непременно raid1 на 30тб, когда это можно сделать посредством raid10?

[Алексей Павлов]

Иван Мельников,

Предположим, что вероятностное распределение выхода диска из строя от отработанных дней равномерное.

Так считать неверно. Вы считаете выход дисков из строя независимо друг от друга, от обычного износа. Но могут диски сгореть все сразу - пожар, наводнение. молния, взрыв, "пьяный электрик", война, астероид, атака марсиан... Поэтому, ваши расчёты неверны. На одном сервере хранить недостаточно. Конечно, это зависит от ценности данных.

[abroabr]

Иван Мельников,

Расположение – на сервере предприятия.

бывают пожары,
реже - бывают кражи

бывают сбои высокоуровневые (не сбои ФС или RAID) когда в файлы пишется шняга, а RAID послушно повторяет эту шнягу по всем дискам.

бывают злоумышленники (или ошибающиеся) которые пишут шнягу в файлы, а RAID послушно повторяет эту шнягу по всем дискам.

в дополнение к RAID нужен еще RAID для копии.
копия должна быть в другом здании, изолированном от основного "датацентра предприятия".
как лучший вариант - в другом подразделении на другом конце города.

и, практика показывает, что мало полной копии, а нужна еще копия с историей изменений (а это очень много места).
еще практика показывает, что в нужный момент бэкап оказывается поврежденным сам. то есть бэкапа нужно 2.

а еще нужно время от времени (а лучше автоматом регулярно) проверять работоспособность и бэкапа и RAID

как вариант хранить копии резервные в специализированном хранилище бэкапов, например, Amazon Glacier и Backblaze

[abroabr]

Иван Мельников,

Предположим, что вероятностное распределение выхода диска из строя от отработанных дней равномерное

че гадать-то.

возьмите статистику по дискам Backblaze

[Иван Мельников]

abroabr, я могу взять точную статистику, но порядок ответа это не изменит, а расчеты значительно усложнит. Расчеты придется делать на компьютере, а так можно ручкой и листочком обойтись, потратив 10 минут.

[abroabr]

Иван Мельников,

Вероятность вылета 2-х дисков из одного зеркала одновременно крайне мала.

Голая математика тут не при чем.

За последние 15 лет я лично встречал выход второго диска в RAID-массиве из строя уже раза 4. И это при том, что я не сис. админ, а разработчик софта и мне по профессии не положено особо часто с серверным железом напрямую контачить.

Фокус в том, что после выхода из строя одного диска - нагрузка на остальные резко возрастает. Не последюю роль в этом играет и то что RAID-массив начинает срочно ребилдиться.

[Mikhail Vasilyev]

Ещё бывают сбойные партии дисков. И запланированное устаревание. Буквально месяц назад два диска в RAID-1 умерли с интервалом в 2 недели. По данным S.M.A.R.T. - живые. Но любая операция занимает минимум 10 секунд. По счастью, успел поменять по очереди - перелив 8Tb занимает время, да.

Answer 1

[fdroid]

ECC-память + ZFS (Linux, FreeBSD) в нужной конфигурации RAIDZ (не путать с RAID!) + нужное количество дисков. RAID-контроллер не обязателен и даже вреден.

Comments

[3vi1_0n3]

ZFS (OpenSolaris/Illumos, FreeBSD), Linux пока не дотягивает

[Иван Мельников]

Этот вариант мне больше всех нравится.

[abroabr]

3vi1_0n3,
https://habrahabr.ru/post/314506/
www.alv.me/zfs-on-linux-praktika-primeneniya

Уже года 2 как ZFS ready to use on Linux

Реализация, безусловно, в Solaris более современная.
Безусловно реализация в ядре Solaris/FreeBSD более предпочтительная.
Но ZFS уже много лет как стабилен и то, что какие то фичи будут отсутствовать на Linux сразу - не критично для данной задачи совершенно.

И да, NAS с ZFS и FreeBSD уже готовые и развитые имеются.
Linux не обязателен под NAS.
Хотя можно и с ним ZFS

Answer 2

[athacker]

Плюсую за вариант, предложенный sanrega
ZFS raidz решает эту задачу. Если очень боитесь -- можно даже raidz2 (условиный аналог RAID6). Если совсем-совсем страшно -- ну, есть ещё raidz3 :-)

На диски и контроллеры, по большому счёту, при этом пофиг. ZFS регулярно тестирует блоки данных на предмет консистентности, и если блок повреждён -- восстанавливает его с помощью данных с других дисков массива и записывает на место выправленную копию. Поставьте в настройках, чтобы scrub один раз в несколько дней запускался.

Это что касается гарантии неизменности. Что касается гарантий доступности -- всё зависит от того, какие конкретно вам гарантии нужны, и сколько денег вы можете на это потратить.

Answer 3

[Армянское Радио]

Собрать CEPH storage с бекендом bluestore минимум на пяти серверах с фактором репликации 3. Потребуется 100Tb сырого дискового пространства. Контрольные сверяются как на сети, так и при хранении на дисках.

Comments

[Иван Мельников]

Монументально, конечно, но нет)

Answer 4

[Saboteur]

Взять NAS на 8 дисков, забить их 8-терабайтными или 10-терабайтными SATA дисками.
Организовать их в рейд с зеркалированием. Вовремя менять, если диск вышел из строя. Может имеет смысл сразу купить один запасной диск, чтобы был под рукой.

Дешевле - только если материнка позволяет подключить такое количество дисков.

Answer 5

[abroabr]

Полную гарантию дает только страховой полис.

Можно хоть в zip запихавать, хоть SHA проверять, хоть ZFS использовать.
Но полную гарантию дают только 3 независимые копии, размещенные в разных зданиях.

Я бы использовал или ZIP или ZFS

Comments

[Алексей Павлов]

Но полную гарантию дают только 3 независимые копии, размещенные в разных зданиях.

В разных городах. А ещё лучше - в разных странах. (См. комменты вопроса)

[vksee]

В разных городах. А ещё лучше - в разных странах.

На разных планетах понадёжнее будет. А ещё лучше - в разных вселенных.

Answer 6

[Denis Michurin]

- RAID 10
- AWS S3

Comments

[Saboteur]

Каким образом это решает задачу гарантии неискажения данных?

[Иван Мельников]

А почему не просто RAID-1?

[Армянское Радио]

RAID на такие объемы - это дичь. Как вы себе представляете ребилд?

[Иван Мельников]

Армянское Радио, а разве ребилд для RAID-10 сильно трудоемкий? Там же просто полное копирование с одного диска.

[Армянское Радио]

Иван Мельников, копирование диска не только занимает более трех часов (>2 Tb) оно еще и нагружает второй диск из пары (и может его довести до выхода из строя). А под нагрузкой это чудо может обрываться и начинаться сначала - зависит от алгоритма.

[abroabr]

RAID 10 не проверяет контрольные суммы.

[abroabr]

Армянское Радио, к

опирование диска не только занимает более трех часов (>2 Tb) оно еще и нагружает второй диск из пары (и может его довести до выхода из строя). А под нагрузкой это чудо может обрываться и начинаться сначала - зависит от алгоритма.

автор не уточнил - для домашнего использования или для производственного.
для домашнего - ребилд в 3 и даже в 9 часов не критичен. но неприятен, да.

Answer 7

[xmoonlight]

FreeNAS

FreeNAS with ZFS to protect, store, backup, all of your data. FreeNAS is used everywhere, for the home, small business, and the enterprise.

Answer 8

[boss_lexa]

https://www.backblaze.com/b2/cloud-storage-pricing.html
30 тб хранения = 150$ месяц
Uptime: 99.9% SLA.
Reliability: 99.999999% durability.