Как вы бы организовали хранение видео и аудиофайлов?

Question

[Кирилл]

Привет!
Ребят, такой вот вопрос стоит перед мной, как лучше и где хранить данные в виде видео и аудио файлов.
На собственном сервере как-то не вариант. т.к. люди будут грузить видео, а сервак не резиновый и постоянно масштабироваться под одну эту задачу не вариант, плюс еще нагрузка будет большая.
Собственно и вопрос, как лучше организовать хранение? Куда лучше грузить эти самые видео и аудио?
YouTube, Vimeo и тому подобное не предлагать!)))

Answer 1

[Дэн Иванов]

1. Купите несколько машинок в hetzner, поставьте CEPH.
2. Возьмите сторадж от runabove https://www.runabove.com/storage/object-storage.xml
3. Купить у этих https://www.transip.eu/vps/ ребят vps, и аттачить к ней их же сторадж https://www.transip.eu/vps/big-storage/ относительно не дорогой.

CDN который советовали выше, обычно как бы не про хранение, а про быструю отдачу.

Comments

[Кирилл]

Можете подробнее рассказать о 3-м пункте?))) Я правильно понимаю, что я могу просто взять VPS и к ней прикрутить сторадж, там написано типа я могу 400TB юзать?)) Или я чет не так догоняю, был бы Вам признателен!

[Дэн Иванов]

Все, так. К виртуалке монтируется несколько стораджей. Возьмите и попробуйте, там не такие большие деньги просят. Можно им написать и спросить какое у них ограничение на максимальный размер монтируемого тома.

[Кирилл]

Дэн Иванов: Благодарю за ответ, можете еще буквально подсказать, знаете ли Вы какова скорость отдачи контента? Наверное придется все же задействовать CDN для ускорения отдачи контента, верно?

[Дэн Иванов]

Верно, не стоит ожидать скорости чтения с тома выше 80Mb и 100IOPS. Но может у них что то поменялось, монтируемый драйв потому и дешевый, что он не SSD и используется больше как "архивное" хранилище, а не как оперативное.
Для ускорения можете как раз использовать CDN. Но прежде чем начать использовать, советую посмотреть, каков объем "активного" контента из всего вашего архива. Возможны разные специфические кейсы того как пользователи смотрят Ваш контент : один раз сразу после аплоада, или постоянные просмотры только у 1-2% всего архива, или наоборот смотрят весь архив в течении месяца по чуть-чуть. Исходя из этого, поймете стоит ли Вам использовать CDN, или достаточно парочки кеширующих nginx c SSD.

[Кирилл]

Дэн Иванов: Спасибо за такой развернутый ответ! Придется все же в сторону Amazon S3 и ClouFront смотреть, т.к. это обучающий сервис будет и там каждое видео будет просматриваться от и до, трафика будет нормально. Дэн, может у Вас есть ссылки на мануалы, как интегрировать эти технологии? Как заварганить сервер и подцепить туда Amazon S3 и CloudFront?

[Дэн Иванов]

Согласен что решение S3+CF будет проще, с точки зрения реализации. Но вот счет ежемесячный будет такой что не сложить в уме цыфорки).
Может тогда лучше взять RunAbove в качестве хранилки, а в качестве CDN присобачить cdn77.com или cdn.net ?

[Дэн Иванов]

Если все такие решили S3+CF то сервер вам не нужен у S3 есть API для загрузки при помощи некого вашего сервиса, или можно руками через админку AWS.
Документация здесь https://aws.amazon.com/ru/documentation/s3/ и здесь https://aws.amazon.com/ru/documentation/cloudfront/

[Кирилл]

Дэн Иванов: Вот счета то меня и тормозят)) Дэн, у Вас есть скайп? Хотел бы задать пару вопросов лично, чтобы разъяснили некоторые нюансы, у меня идет некое недопонимание технологий, как бы это ни странно звучало)))

[Дэн Иванов]

В контактах указана почта, должна быть видна всем, напишите туда свой скайп, я постучусь.

[Кирилл]

Дэн Иванов: Отправил письмо))))

Answer 2

[index0h]

Amazon S3?

Comments

[Кирилл]

Вот думаю, на счет него, но как бы по трафику не приходили бешеные счета на оплату.

[Виталий Пухов]

Кирилл Лобанов: бешенные счета это у них норм:) У меня как то забыл машину выключить, она зависла и включилось масштабирование, разогнало ее до непонять каких размеров и до утра молотила, утром счет веселый был:) Благо техподдержка списала это когда объяснил ситуацию.

[Салават Ситдиков]

Кирилл Лобанов: какой у вас трафик предполагаемый и действительный? Там же можно посчитать.

[Sergey]

Виталий Пухов: Плохо знаком с сервисами AWS. А как вообще масштабирование включилось? Его заранее нужно настроить для этого или "оно само"?

[Виталий Пухов]

Sergey: Его нужно заранее настроить, я тогда игрался просто поэтому натыкал и его в куче и выключить забыл

[Sergey]

Виталий Пухов: Спасибо, успокоили :) Я было подумал там везде автомасштабирование.

Answer 3

[Виталий Пухов]

Не совсем понятно, что вы хотите получить, судя по вашему вопросу вы хотите с "нерезинового" сервера "без масштабирования" отдавать медиаконтент неограниченному кругу лиц. В любом случае я бы пошел одним из 2х путей в вашем случае, пусть есть 1 достаточно мощный сервер, к нему подключить CDN, тем самым разгружать сервер настолько насколько это возможно, насколько отзывчивой будет такая система не ясно. Вариант №2 отдавать контент торрентами и соответственно контент "делить" нагрузку между всеми пользователями сервиса.
Ваш вариант зависит от того для чего это собственно нужно.

Comments

[Кирилл]

Торрент тут не подходит, т.к. люди будут просматривать эти видео в режиме онлайн, а скачивать ни кто не будет. Можно тогда задам еще один Вам вопрос, какой CDN бы Вы порекомендовали для данных целей? Чтобы пользователь мог загрузить контент через мой сервис в этот CDN, а другие пользователи могли просматривать этот контент опять же через мой сервис.

[Виталий Пухов]

Кирилл Лобанов: CDN обычно делают проще, весь контент который отдает сайт проходит через CDN и кэшируется, таким образом первый скачал с вашего сайта, остальные качают этот же файл уже с CDN. Конкретный не посоветую, нужно пробовать. Про торренты уточню, что смотреть можно напрямую с торрентов.

[Кирилл]

Виталий Пухов: Скорей всего придется использовать Amazon S3 и Amazon CloudFront. И мирится со счетами, просто это все в конце ударит по карману клиентов, т.к. стоимость будет не маленькая сервиса.

[Виталий Пухов]

Кирилл Лобанов: CloudFront как раз один из типичных CDN

Answer 4

[Сергей Соколов]

Таки посоветую Amazon. Для долговременного хранения, когда файлы не нужно часто-быстро отдавать, у них есть сервис Glacier, стоящий на порядок меньше, чем S3.

Представьте Glacier как хранение на магнитной ленте: когда файлы понадобятся, надо их запросить и чуть подождать: пока найдут ленту, вставят в устройство – и файл перекинут на ваш S3 букет.

Вы не описали в вопросе, как будет использоваться хранение. То ли это загрузил и забыл – пусть где-то хранится; то ли это один загрузил, тысячи бросились скачивать-смотреть. Решения могут быть разными.

Upd. в комментариях увидел ваше пояснение: «это обучающий сервис будет и там каждое видео будет просматриваться от и до, трафика будет нормально». Я строил видео решение для обучающего сервиса по фотографии несколько лет назад – как раз на основе AWS CloudFront и S3. У нас были бесплатные и платные просмотры контента, свой flash видео-плеер и, извините, Joomla : )

Comments

[Кирилл]

Да, немного накосячил в вопросе))) Цель - загрузил и люди кинулись смотреть))) Но опять же, здесь не будет миллионов просмотров) Я воспользуюсь решением Дэна Иванова, т.к. Amazon'овские средства слишком дорого выходят для меня. Хранение 2ТБ выходит почти 4,5т.р. - это уж слишком дорого! Когда на том же TransIP - 2ТБ стоят 700р.

[Сергей Соколов]

Кирилл Лобанов: кстати, сейчас мы делает стартап в области веб видео. Может вам будет интересно наше простое решение для обучающих видео – из слайд-презентации + веб-камера + микрофон сделать видео лекцию – presenter.stunn.com

[Кирилл]

Сергей Соколов: Посмотрел сервис, достаточно интересное решение))) Я тоже такое хотел делать, только знаний не хватало, а потом как-то мысль эта утихла в голове и походу перетекла к Вам))) Успехов в запуске!))))