Насколько целесообразно использовать ленточную схд для продакшена?
Добрый день, в последнее время, столкнулся с тем, что заканчивается место для хранения исходников нашего продакшена. Сейчас работает обычный сетевой NAS в офисе, на 20ТБ, плюс на яндекс диске примерно столько же, покупать СХД более высокого класса не представляется возможным по нескольким причинам: серверный шкаф стоит в офисе и он небольшой, стоимость HDD сейчас такая, что выходит всё в копеечку, причём в золотую, а продакшн тратит на съёмку пары программ (2-3 недели каждая) около 13-15 ТБ. Хочу поэтому уточнить насколько целесообразно использовать для хранения исходников ленту? Никогда с ней не работал, не знаю стоимость хранения, как правильно хранить кассеты (разве что по тем же правилам, что и vhs в детстве). Расскажите, пожалуйста, подробнее про это.
Ленточная библиотека похожа на CD-changer: есть N кассет, и специальный механизм перемещает выбранную в считыватель, после чего начинается собственно считывание. Непосредственного доступа к данным на ленточках как на дисках нет. Одновременно читать несколько ленточек можно только если в ленточной библиотеке несколько считывателей (в частности, довольноо обычное дело когда там два считывателя). Одновременно читать несколько файлов с одной ленточки тоже нельзя, считывание происходит по очереди (и придётся в любом случае перемотать к нужному месту).
При этом использующие ленточные библиотеки обычно имеют ленточек заметно больше, чем вмешается в библиотеку. Например, в библиотеке лежит 24 кассеты, а рядом на полке ещё 40 штук. Где-нибудь хранится информация, что на какой кассете лежит, и при необходимости достать что-то конкретное нужная кассета вручную помещается в библиотеку (вместо какой-нибудь другой).
Обычно ленточки используют как раз для такого хранения информации, когда её нужно доставать редко и по запросу. Исходники старого продакшна - вполне себе неплохой пример. Ведь когда проект завершается и сдаётся - он в подавляющем большинстве случае нужен затем почти никогда. Но если в вашем случае надо доставать их часто и быстро, то ленточная библиотека вам точно не подойдёт.
Если Вы посмотрите стоимость современного LTO драйва (LTO-8 или LTO-9), то диски Вам покажутся и не такими дорогими...
Да и сами картриджи далеко не бесплатные..
Ленты нужны если:
- это требование регулятора.
-требуется хранения архивов больше нескольких лет.
-большие объёмы, к которым обращения крайне редко..
-требуется организовать удалённое холодное хранение данных.
При хранении данных на лента Вы не сможете сразу приступить к их обработке, сначала надо будет их восстановить на диск. Оцените время восстановления..
Данные надо будет на лентах дублировать, что бы при повреждения картриджа не потерять данные.
В целом, если у Вас возникают такие вопросы, ленты Вам, скорее не нужны.
Хранение на лента может быть будет дешевле, если Вам надо хранить сотни терабайт холодных данных.
Если вы хотите использовать СХД исключительно в качестве архива и в лучшем случае туда никогда не обращаться - то ленточный вам вполне может подойти.
С другой стороны - жёсткие диски сейчас стоят не таких уж и космических денег 10Тб - всего около 25к.
А для архивного хранения не обязательно брать прям сервер-сервер. Можно просто офисную машинку с некоторым количеством SATA портов на борту.
Мы думали про машинку, но не так давно, одна такая, стоявшая под монтаж, выгорела непонятно от чего, сгорели проц и мать, вроде жёсткий остался цел, но рисковать вот так - очень не хочется, всё-таки надёжность у серверных компонентов повыше
Обращаться к ним будут, но не супер часто, тем не менее, раз вы об этом заговорили, то, подозреваю, что на чтение будет проблема с доступом? Их периодически берут, копируют на компы для монтажа и пересобирают.
Алексей Кухаричев, ленты - для холодного хранения. когда это нужно 1 раз в год, условно говоря
в Вашем варианте - собирать нормальный NAS и либо забивать его дисками либо подключать к нему дисковую полку, смотря сколько дисков надо
Все это собирать в какой нить raid 6 \ raid 60 и будет более-менее
нет, серверные компоненты не надежнее аналогичных ХОРОШИХ(читай топовых) обычных матПлат
выгорело потому что или БП был плохой, или розетка - для такого УПСники ставятся
И непонятно за какой срок надо хранить архив. по Вашим подсчетам получается что 1 месяц - порядка 20Тб
если надо хранить 1 год, то дисков надо много...+ запас
Главное преимущество ленточного хранения - это то что производитель кассет гарантирует срок хранения
до 20 лет (кажется). При правильной температуре и влаге. Поэтому выбор кассет может быть обусловлен
этим. Магнитные диски и SSD не гарантированы таким сроком.
Насколько я себе понимаю storage classes для AmazonS3/Microsoft Blob (у них есть классы archive, iceberg)
это и есть дисковые интерфейсы к ленточным устройствам. Если у вас есть подписка - то вам вобщем-то
ничего не надо покупать а лишь переключить класс хранения для всех файловых объектов в скоупе
хранения.
Вопрос только, чем производитель отвечает за эту гарантию..
По факту - это только слова.
Некоторые производители, в рамках такой гарантии, предоставляют услуги восстановления данных с ленты, если с ней что-то случилось, но это не в текущих реалиях в России...
TheAthlete, это очень консервативный стандарт. Кажется для LTO ширина ленты совпадает с VHS видеокассетой.
По поводу услуг восстановления данных. Вопрос звучит немного по другому. У тебя на ленте
есть обычно последовательность backups за какие-то года и месяцы. Лента обычно не переписывается
а дописывается в хвост. Тоесть у тебя на кассете полюбому несколько backups.
И такое чтоб все из них были испорчены - маловероятно.
@SunTechnik
По поводу фактов. Сейчас на дворе стоит 2024 год. И если у вас на производтсве были кассеты
2004 года - то берите и просто проверяйте их содержимое. Вот это и будет факт. Это будет
лучшая реклама чем какие-то там заявления от производителя.
На текущий момент хранилище на базе hdd - самое дешёвое из любых других технологий, с оговоркой по его размеру, порядка сотни терпбайт, при превышении нужно уже изучать варианты.
Неплохо вариантом может оказаться переход к десктопными железу (самодельный NAS), особенно при количестве дисков порядка 1-2 десятка, брать самые дешёвые, использовать софтварный raid6 и внимательно следить за сбоями и своевременно менять диски.
Осторожно с дисками с черепичной технологией записи - SMR, в raid массива они плохо работают под нагрузкой (массив может развалиться по таймауту), есть лайфхак, работать с диском по сети, ограничивающей скорость на столько чтобы внутренние кеши дисков не переполнились на долго.
Иначе можно просто не найти дисков CMR с объемом больше 8тб
Простой
