На чем дешево и долго хранить десятки Тб информации сейчас?

Question

[Zmtrk62]

Речь идет об объемах от 50 до 100 Тб. Данные статичны, по сути бэкапы. Хранить надо годы: +- 15 лет.
Что сейчас с ленточными накопителями? Пока вижу как самый удобный формат. Записал и убрал на полочку.
К тому же есть потребность хранить в другом помещении от основных резервных копий. Некий такой архив.
Почему не хочу СХД? Ну а зачем крутить диски 10 - 15 лет? SSD уверен тоже за этот период парочка но откинется.

Comments

[shurshur]

SSD откинутся уже потому, что при длительном отсутствии питания они могут потерять данные вообще.

Можно ротировать диски для бэкапов, чтобы не держать их все постоянно подключенными. Но при таком раскладе лучше всё же ленточки вместо дисков.

[Zmtrk62]

shurshur, а что, ленточка жива? Есть в продаже и не в дефиците? Просто вы сейчас пересказали то, что я написал в вопросе.

[CityCat4]

Zmtrk62, Ленточка тоже деградирует, ее тоже нужно постоянно проверять на читаемость, просто так убрать на полку на пару-тройку лет нельзя.

Ленточка скорее жива чем мертва, но цены как всегда...
Тыц

[pfg21]

блюрей диски :) 10-15 лет в темном прохладном месте выживут.

[Zmtrk62]

pfg21, неплохая идея, спасибо.

[Zmtrk62]

Но BluRay не подойдут ввиду 25Гб одного диска. Есть данные по 200Гб одним куском.

[pfg21]

Zmtrk62, данные сжать, добавить информацию для восстановления, нарезать на куски :)
это так, в шутку, диски удобнее для хомячьих/домашних архивов.
п.с. есть диски до 128 гб...

[shurshur]

Zmtrk62, я не очень слежу, но вроде бы до сих пор их используют и часто рекомендуют для долгосрочных бэкапов.

Если нужно прям меганадёжно, то есть такая штука M-DISC, но видимо это не очень дёшево, плюс реальная надёжность может оказаться ниже маркетингового хвастовства.

Так что из простого варианта - всё же диски с возможностью их класть на полку (NAS, док-станция, сервер с HotSwap итд). Диски можно докупать, да и прочитать их можно где угодно в случае чего.

[Одиночка Айс]

Чисто из любопытства: что такого люди хранят по 50-100 Тб, да еще 200Гб куском? Видосы, компромат, цп, цепочки блокчейна?

[nidalee]

LTO. Но брать стример(ы), наверное, лучше с рук. Цены у магазинов - просто издевательство.

Answer 1

[alexalexes]

Я думаю, 10 дисков с технологией записи CMR и без гелиевого наполнения по 8 Тбайт, запертые в сейфе в негорючем помещении с постоянным микроклиматом, будут куда дешевле и проще в эксплуатации, и пролежат 15 лет. Чем возиться с ленточным накопителем и лентами.

Answer 2

[Paul_Arakelyan]

Увы, ленты тут практически оптимальны - их легко возить, как SSD, занимают не вагон места. Разве что вопрос с их считыванием - стример найти куда сложнее, чем sata-порт. Т.е. надо иметь пару устройств, минимум. Вопрос плавно превратится в "выгодно-не выгодно", если объёмы относительно небольшие.
Ленточные библиотеки - "красиво и удобно", пока/если работает :)

Answer 3

[SunTechnik]

На таких объемах - дешевле будут диски.
На avito lto-6, грубо - от 100тр. Их надо брать два, так как через 15 лет вы подобное вряд ли найдёте.
Теперь сравните по чем вы сможете купить картриджи и диски и оцените стоимость решения.
На какой OS живете? Под windows надо будет искать софт и надеятся через 15 лет будет на что его поставить...

Если до этого не было опыта работы с лентами, то почитайте про их особенности.
На ленту можно только дописывать или писать сначала. Вы не можете быстро определить что записано на ленте (тут может спасти ltfs).
Вы не можете работать с данными на ленте их надо сначала восстановить на обычный диск.
В общем : надо более детально расписывать весь цикл использования и считать затраты и риски.

Answer 4

[Михаил Лялин]

соберите свой сервер = избыточный RAID на HDD с избыточной архивацией данных для дальнейшей регулярной проверки на целостность и т.д.

Comments

[Zmtrk62]

Ну так я написал, почему такой вариант самый последний в списке....

Answer 5

[mayton2019]

У автора же не сразу 50Тб а как-то постепенно накапливается?

Можно купить Blue-Ray диски на 50Гб. И писать потихоньку.
Помню еще Verbatim производила надежные диски DVD с алмазным покрытием.
Можно поискать есть ли такие для формата Blue-Ray.

SSD - точно не подойдут. Ни один производитель не гарантирует столько лет хранения информации.
С другой стороны эти же SSD стоят в облачных хранилищах где их просто спасает уровень redundancy
в 2 и 3 и более раз.

Comments

[Zmtrk62]

BluRay не подойдут ввиду 25Гб одного диска. Есть данные по 200Гб одним куском.

[alexalexes]

Если говорить о Blu-ray, то начинку приводов выпускают пару японских фирм, которые можно пересчитать по пальцам одной руки. Из доступных болванок, на которых можно записать второй слой (это которые 50 Гбайт) и не обнаружить сразу после записи, что он недоступен - только Verbatim подходит и доступен за умеренную цену. Китайские многослойные болванки можно сразу отправлять в помойку, даже не пытаться на них записывать.
Уже сейчас, имея хранилище на таких дисках, стоит переживать, что японцы не закроют производство приводов, а verbatim - дисков.

[mayton2019]

Zmtrk62, для длительного хранения я-бы все равно делал архивацию по томам.
Не знаю в каком виде у вас лежит бэкап но я еще и добавляю контрольные коды для восстановления. Вот как тут пишут.

NAME
       par2 - PAR 2.0 compatible file verification and repair tool.

SYNOPSIS
       par2 c|v|r [options] <PAR2 file> [files]

       par2 c(reate) [options] <PAR2 file> [files]
       par2 v(erify) [options] <PAR2 file> [files]
       par2 r(epair) [options] <PAR2 file> [files]

       Also:
       par2create [options] <PAR2 file> [files]
       par2verify [options] <PAR2 file> [files]
       par2repair [options] <PAR2 file> [files]

DESCRIPTION
       par2cmdline is a program for creating and using PAR2 files to detect damage in data files and repair them if necessary. It can be used with any kind of file.

[mayton2019]

alexalexes, это понятно что через 15 лет можно и не найти привод. Но я просто развиваю идею что писали выше про магнитные блины. Вероятность их восстановления выше чем у SDD - что черт знает что внутри и пинцетом не потрогать и в другой корпус - не переставить.

Были фирмы лет 10 назад которые восстанавливали информацию с магнитных дисков которые утонули или побывали в пожаре.

[Stalker_RED]

mayton2019, такие фирмы и сейчас есть. Ну и с пожаром там не очень радужно все - если диск достиг точки кюри - его не порчесть вообще никак.

[Василий Банников]

Zmtrk62, данные всегда можно распилить на несколько кусков

[mayton2019]

Есть у меня облачко с хранилищем типа S3. Пользуясь случаем я щас гляну цены на самое жлобское хранение файлов.

Вобщем там на каждый файл атрибут ставится. Есть такой тип хранения:

Glacier Deep Archive - Long-lived archive data accessed less than once a year with retrieval of hours - min storage duration 180 days - Per-GB fees apply.

Какой-то глубокий айсберг. Хм... ну по роду доступа очень похоже на ленточную библиотеку. На это указывает их рекомендация по частоте доступа.

Цены за гигабайт пока не вижу. Чуть позже поищу прейскурант.

[Dmitry Bay]

mayton2019,
На яндексе S3 самое холодное - 4.28 долларов за тб без ндс.
51.35 за год получается
770 за 15 лет
* 25 тб = 19260 12 ТБ Жесткий диск WD Red Pro [WD121KFBX] [SATA III, 6 Гбит/с, 7200 об/мин, кэш память - 256 МБ, RAID Edition]
И тут уже к автору вопрос, готов ли он раз в 2-3 года обновлять диски в raid массиве. Если данные критичны, то по 2-3 диска минимум необходимо в raid запустить.
Старые можно продавать.
Плюс должно быть место хранения адекватное. плюс системники.
Причем,
12 ТБ Жесткий диск WD Red Pro [WD121KFBX] [SATA III, 6 Гбит/с, 7200 об/мин, кэш память - 256 МБ, RAID Edition] в КЗ (не смог наш открыть) - стоят по 30 тыс рублей, вам таких 2-3 надо на каждые 12тб. на 24ТБ - 6.
Итого 180 тыс на каждые 2-3 года. С учетом б.у. продажи в будущем, обойдутся в 90 тыс может быть, в лучшем случае.
Итог 90*15 = почти 1.4 млн, что в целом соответствует облачному хранилищу, но без вопросов администрирования.

С ленточными накопителями будет плюс минус подобное, вы не спец, и вам нужно будет потратить много усилий.

[mayton2019]

Dmitry Bay, учитывая риски я-бы хранил 50Тб не в одном а в двух местах. Ситуация в мире показала что облакам тоже не стоит сильно доверять.

И тут уже к автору вопрос, готов ли он раз в 2-3 года обновлять диски в raid массиве. Если данные критичны, то по 2-3 диска минимум необходимо в raid запустить.

Я-бы не использовал RAID. Это режим доступа реального времени. Слишком шикарно. Для информации которая редко поднимается - можно и просто добавлять контрольные коды восстановления как я предложил выше. А уровень восстановления подобрать экспериментально.

[shurshur]

mayton2019, насколько я знаю, Glacier стоит почти бесплатно, если не доставать данные, там основной расход денег это запросы на извлечение, само хранение совсем недорогое. У меня один знакомый туда свой домашний фотоархив положил на всякий случай.

[Dmitry Bay]

mayton2019, вы видимо в этом разбираетесь.

Но вообще, даже винты 12-14 лет назад по 2тб - спокойно жили в шкафу как бэкапы. Только похерил я их zalman док станцией.
Я тогда видео снимал много, и для каждого! клиента делал бэкап на внешний диск и два жесткий - один рабочий, другой бэкап.

Было 3 случая, когда клиенты безвозвратно теряли данные и обращались, и я им давал новую копию.

Так что тут вопрос как именно формируются данные у автора, и если не формируются постоянно - то вариант просто с 2-3 винтами на каждый гб, и закидывать их на винты, причем винты даже можно хранить в разных местах.

[mayton2019]

Dmitry Bay, я тоже ошибался. И убивал бекапы случайно. Обычная опечатка. Вообще
бэкапить не очень сложно. А сложно гарантировать что файловая свалка пригодна к восстановлению.
А это - еще более сложная задача чем бэкап. Потому-что тренировочные восстановление - ресурсоемкие.

Есть еще стратегия. Я правда не знаю как она называется. Я ее называю тик-так.
У вас есть 2 хранилища. И вы бэкапите по четным неделям на первое. И по нечетным неделям
на второе. При таком подходе если одно хранилище умирает или недоступно - у вас есть второе максиммум
давности 2 недели.

Еще у бэкапа есть другая проблема. Он не страхует вас от обычных человеческих ошибок. Вы если
имеете доступ на удаление можете сами что-то случайно удалить. Рука дрогнет. Вот с этой точки зрения
кассета стриммера даже как-то надежнее выглядит. Ну там и записывать неудобно. Но и удалить случайно
тоже не получиться.

Есть еще идея чтоб форматировать бєкапные диски в BtrFS/ZFS и просто делать снапшоты. Но я
этот вопрос не исследовал так глубоко чтоб рекомендовать это. Да и в адрес Btrfs пока еще идут
жалобы. Тут - цена рисков - насколько мы доверяем Oracle/FreeBDS и есть ли шанс восстановить
если диск поврежден или какая-то неведомая ошибка возникает в использовании. Тут - нет теоретически
верного ответа. Тут просто время и практика должны быть главным аргументом.

[Ava256]

mayton2019, SSD с холодными данными вы уже через год-два не прочитаете, они не предназначены для архивов, только для оперативных данных, где идёт постоянный доступ, а так заряд утекает и все.Если диски в составе СХД, то там хотя бы скрубинг их читает периодически, а на полке или в сейфе все исчезнет.Обычные HDD в этом плане надежнее.