Как организовать хранилище музыки?

Question

[Yariik]

Есть сайт, с сервисов - загрузка музики, фото. Все как в Вк, поиск, пользовательская загрузка и т.д. Интересует по большей части аудио т.к. место уже заканчивается, на данный момент вся музика на hdd, но нужно расширять как то.
Вопрос - как сделать хранилища большого количества музыки(порядка 10ТБ) с возможностью записи в любой момент? Разные облака не рассматриваю, нужен хороший вариант с расчетам на то что в будущем сайт будет на домашнем хостинге, бюджет не столь большой, если с хостингом вмести, то порядка 20000-30000 тис рублей, пока все работает на локальном сервере.

Answer 1

[Drno]

Арендуйте сервер, к примеру на Хетзнер.
Раздайте музыку на сайт любым удобным для Вас способом

Answer 2

[Сергей П]

Yariik, вот этой фразой вы расставили точки над Ё.

например у меня есть стабильная большая аудитория, и тут приходи жалоба, на меня виходят и тут же блокируют сервер, а с ним всю музику, значить нужно хранить где то копии всего, вопрос где

Теперь я вам готов ответить. Купите несколько HDD и недорогой комп. Поставьте комп в чулан, a диски настройте в программный RAID-массив (какой тип RAID выбрать - это отдельный вопрос, отдельно и задавайте). Нужно, чтобы было резервирование на случай выхода из строя одного диска.
На компе поставьте линукс, поднимите SAMBA, попросите у провайдера белый IP.
Настройте nginx на раздачу каталога с музыкой в виде статики.

Этого достаточно. Ваш "серьёзный" подход и размышления о рисках говорят сами за себя. Не будет никакой аудитории и вами никто не заинтересуется.
Если бюджет для вас настолько критичен, что вопрос встаёт даже в проблематичности бэкапа, то никакой рекламы и раскрутки сервиса вы не обеспечите.

Если я вас не убедил, подключите себе CDN Cloudflare поверх домашнего хранилища и попробуйте. Никто не мешает сайт вашего сервиса держать на VDS? Источник данных на домашнем компе, а раздавать публично через CDN Cloudflare.

P.S. Имеет смысл не брать для RAID-массива диски одной серии. Желательно иметь запасной пустой комплект в отключенном состоянии на подмену. Если вылетит один диск, не исключено что на подходе и другие. Первое, что нужно делать - это синкануть на свежий и по одному плавно выводить все выжившие диски из RAID заменяя свежими.

Но... кажется это не по вашим бюджетам, сударь.

Comments

[Yariik]

1) Можно подробнее о финансовых проблемах связанных с бэкапом?
2) Одной серии диска вы имеете ввиду форм фактор или модель?
3) Ваш вариант, всю музику хранить в домашнем хранилище или на приватном сервере? Если второй, то цена за месяц за 10ТБ в районе 2к рублей не так уж дорого

[Сергей П]

1) жесткие диски сейчас дешевые, софта для инкрементальных бэкапов полно и платного и бесплатного, а вы переживаете, что при блокировке VDS у вас пропадёт единственная копия вашей музыки. Для меня это означает. что у вас нет денег даже на то, чтобы организовать себе бэкапы. О какой инфраструктуре для соц-сети с приличным трафиком может идти речь?
2) ни то ни другое. Просто если диски сошли с конвейера рядом в одной партии и при производстве кто-то открывал форточку, то не вероятность, что накроются два или больше диска разом растёт.
Вот у вас рейд с избыточностью. Вы готовы пережить выпадение одного диска, у вас есть новенький на горячую подмену. Вот этот момент настал и один диск посыпался. Вы со смесью сожаления и гордости за свою предусмотрительность заменяете вылетевший на новенький и RAID начинает его ввод в массив, заполнение данными, избыточно хранящимися на остальных дисках. При этом нагрузка на все эти диски возросла, поскольку продакшн никуда неделся, люди пользуются сервисом, а на обычную активность накладывается еще и нагрузка по заливке данных на замененный диск, который еще не вступил в строй. Массив работает в аварийном режиме и сейчас потеря диска из старой смены повлечет потерю данных. Если диски были в одной партии и лежали рядышком на конвейере, то и ресурс у них очень близкий. А если помер "брат близнец", а на другого "брата" свалилось больше работы, то и он может не выдержать.
3) Мой вариант - это делать бэкапы и держать их на "холоде" (холодное хранилище) - это такое дешевое хранилище с медленным доступом, которое предполагает чтение, возможно платное, только в самых аварийных случаях. Нужно всё аккуратно посчитать, возможно вам дешевле будет хранить это дома. Но помните про все яйца в одной корзине. Шифруйте бэкапы, хорошо промаркируйте и держите диски не в одной квартире, а по надежным родственникам. Мало ли пожар там или потом какой. А-то и омон может прийти по ошибке, а диски и компы забирать они любят вне зависимости от причины захода.
Платя хостингу вы платите не только за мощности, но и за поддержку, замену и ремонт оборудования, за бесперебойное энергоснабжение, за продуманную систему пожаротушения и поддержание ее в рабочем состоянии, за то, что никто не забудет после удачного отпуска где лежат и как пронумерованы ваши диски с бэкапами...