Сколько памяти нужно для cdn?

Question

[NovaVortex]

Хочу реализовать CDN по доставке видео контента, а именно: фильмы, сериалы. Примерно будет 100к, это фильмы и сериалы. Меня интересует вопрос по железу. Что расскажите? Скок памяти?

Представьте, что вы собрались писать такое, вот какой бы вы выбрали vds? В интернете честно говоря информации вообще не нашел, возможно плохо искал(

Comments

[Sanes]

На чем вы писать собрались?

[NovaVortex]

Sanes, на это не обращайте внимание. Это я так, для себя :))))))))

Просто доставка контента в любом случае должна быть реализована, это я лишнее написал)

[pfg21]

Доставка контекста обычно начинается когда одного интернет-соска уже не хватает.
Да и то можно вширь пойти через балансир нагрузки.
Т.е. в большей степени cdn это сетевая система (географическое распределение и все такое) а не серверная как вы описываете :)

[Sanes]

NovaVortex, доставка тоже разной может быть. От простого хранилища до подвинутого медиасервера.

[NovaVortex]

pfg21, а вот если взять балансер videocdn, как вы думаете, скок они платят за свою машину? Есть какая-та примерная цифра?)

[shurshur]

NovaVortex, если речь идёт о пиратских CDN типа кодика, которые по недоразумению называют "балансерами" (на самом деле "балансер" это совсем не про это), то у них обычно за это развлечение говённая реклама пихается (нормальный адблок, конечно, режет, но многие смотрят из мобильных браузеров, где адблок или отсутствует, или очень слабый, легко обходимый).

Ещё одним недостатком этих "балансеров" является то, что они обычно очень существенно жмут видео. Вплоть до использования статического битрейта. Результат не всегда хорош, но большинство пользователей такого контента качество видео обычно парит ещё меньше, чем поганая реклама.

Собственно, CDN в таких "кинотеатрах" не геораспределённые (и даже скорее "далёкие" от потребителя, ибо пиратство лучше всего работает из-за пределов страны обитания получателей), там задача в другом совсем. Дело в том, что проблема даже не в занимаемом видеофайлами месте. В первую очередь проблема в пропускной способности канала. Например, пусть у нас видеофайлы с битрейтом 3 Мбит/с (аудио+видео), тогда 300 пользователей забьют условный гигабит. Популярному "кинотеатру" придётся иметь много серверов, которые будут отдавать одно и то же. То есть на деле места нужно будет очень и очень много, причём оно уйдёт на дублирование файлов.

Память в этих серверах будет совсем не узким местом.

Помимо всего прочего, придётся очень много усилий потратить на менеджмент этого хозяйства, например, на динамическое принятие решений о количестве реплик каждого (популярный свежий фильм надо хранить во множестве копий, в то время как малопопулярный можно хранить не так широко).

А ещё быстро вылезет проблема качальщиков и "онлайн-кинотеатров" из всяких телеграмов, которые будут качать на максимальной скорости фильмы с твоего сайта и выкладывать в свои каналы/боты, забивая сеть. Придётся напрячься с управлением скоростью отдачи, чтобы это не работало. Например, кодик по факту отдаёт видео на скорости максимум 2x от выбранного качества (видимо, по имени файла в ссылке, содержащей разрешение, определяется лимит скорости в вебсервере). Скачать что-то штучное ещё можно, поставить скачивание на промышленный поток уже не получится, ведь в телеграм-ботах мало кто будет ждать доставки "заказанного" файла несколько часов.

Сколько это стоит для таких сервисов сложно сказать. Но, скорее всего, они не используют виртуалки. Для больших дисковых пространств выгоднее или арендовать железные сервера, или даже ставить своё оборудование в датацентр. Причём для серверов отдачи видео не нужно много процессора и памяти, можно брать дешманские б/у сервера, цеплять к ним дисковые полки (в том числе с недорогими б/у дисками) и получить очень даже неплохой по цене вариант.

Да и в целом не так уж и дорого хранить десятки террабайт. Я себе в прошлом году в розницу купил не самые дешёвые диски по цене 2700 рублей за террабайт, а ведь оптом, да ещё и линейку и производителя подешевле - можно наверное и на 1000 за террабайт выйти... При большой активности пользователей и платящих рекламодателях можно очень даже неплохо зарабатывать.

[NovaVortex]

shurshur, ну, я бы поспорил. Я спарсил и смотрю видео из cdn без рекламы на телефоне :)

[shurshur]

NovaVortex, я тоже могу смотреть видео без рекламы на телефоне, но вот штатный адблок в samsung browser с рекламой кодика в какой-то момент перестал справляться. Далеко не все пользователи способны на телефоне с этим справиться. В любом случае, за такую рекламу продолжают платить, а видеосервисы как-то продолжают существовать, значит, зрителей у рекламы хватает...

Answer 1

[Drno]

Vds??

Несколько серверных стоек в ДЦ…

Но по факту зависит от количества юзеров и насколько криво написан софт

Comments

[NovaVortex]

В почему именно от юзеров? Впервую очередь ведь контент там будет лежать

[Drno]

NovaVortex, контент не обязательно должен лежать имено там

Если Вы хотите посчитать размер контента - возьмите средний показатель веса 1часа видео на ютубе в стандартных форматах -
1080 /720 /480
И сложите

Разное кино может весить по разному, зависит банально от длинны фильма. Ну и от битрейта

[NovaVortex]

Drno, примерно, 150 тб по 1.5 гб на фильм в формате 1080p. Честно, если взять videocdn, я не верю, что у них такой vds, ибо на 150 тб очень дорого, а дохода у них по факту почти нет

[NovaVortex]

Drno, или я путаю что-то?

[Drno]

NovaVortex, ты не посчитал плюсом в 720 и 480
Не думаю что в 1,5 гб фильм.
Качество же будет отвратительное..

При хранении такого количества инфы забудь про vds.
Для такого арендуются сервера целиком

Хранилка на 50 тт стоит вроде 300$ примерно

А если ты про пиратские сайты с кино, то они обычно не хранят ничего у себя, а гонят видео с торрентов

[pfg21]

NovaVortex, гугл предоставляет кеш-серверы для провайдеров тырнета по системе Google Global Cache. от гугла железяка и ПО от провайдера интернет и електричество. в итоге большинство ютуп-роликов кешируются на железяке внутри провайдер-сети и не грузят сервера ютупа, провайдеру и обывателям плюс в скорости.
если ты заинтересован самому делать CDN даже не по доставке видео-контеста а просто CDN для чего-либо, готовь огроменные деньги. с мелочью в "полтора" сервера никто разговаривать даже не будет :)

[NovaVortex]

pfg21, ну, то что много денег - знаю. У меня вот интересует вопрос про videocdn. Явно ведь, что они платят крупные деньги, с рекламы у них там мало, по-любому. Но каким-то чудом у них 100к видео там. Как?

[pfg21]

NovaVortex, CDN, если сторонний, то он никаких реклам не вставляет.
он по договору кеширует запросы на него направленные и по этому же договору получает бабки. остальное не его дело :)
если CDN формирует сам контент-источник, ну сам как-то разруливает потоки денег внутри фирмы :)

[shurshur]

pfg21, в этом "бизнесе" словом CDN обозначают не CDN в настоящем профессиональном смысле, а просто пиратский видеосервис где-нить в абузоустойчивой локации без цели быть близко и отзывчиво к потребителю, который живёт на рекламу xxxbet'а :) Вопросов эффективной доставки качественного контента такие "CDN" не решают вообще. В кодике сериалы аниме кладут 24-минутные серии 720p с размером серии 194 Мб (битрейт 1000 для видео avc и 90 для аудио aac), очень хорошо экономят, ведь их типичный потребитель на качество вообще не обращает внимание...

[pfg21]

shurshur, не знал :) привык к торрентам и такого не пользовал.
тогда все неясности отпадают.

Answer 2

[Uno]

Забавно, ирл точно такой же вопрос недавно задавали, предположим что ты мне не поверил и решил спросить на тостере)
еще раз говорю, стать видеобалансером с таким подходом невозможно
найди движок и договаривайся с балансером, какой-то да возьмёт тебя, их же достаточно много

- распределенная по географии ЦА инфраструктура, иначе даже 360р из европы во владивосток будет грузиться с лагами (утрированно)
- к этой инфраструктуре система шлюзов, чтобы не заблокироваться ркн и не отъехать с первыми же клиентами
- ты, наверняка, думаешь, что рекламодатели ходят по улице и не знают кому бы свои деньги за прероллы на пиратских кинотеатрах сунуть? так вот, это не так, они все давно и плотно сотрудничают с набравшими репутацию балансерами и экспериментировать при их бюджетах смысла никакого

ты сейчас не веришь что у них 150тб есть, а об этих вопросах когда планируешь задуматься? когда тебе кодер выставит прайс в 10к$?

Comments

[Dmitry Bay]

И переводчиками.

Answer 3

[Дмитрий Энтелис]

Абсолютно любой CDN упирается не в место на диске/память, а в толщину канала.
Идея про VDS тут явно не уместна. CDN это десятки/сотни физических серверов в правильных датацентрах с правильным каналом.

Оценивать нужно как общий трафик за месяц, так и пиковый трафик в единицу времени, - по опыту последний обеспечивать как раз дороже всего.

Если интерес не праздный - начните с использования яндекс.cdn https://cloud.yandex.ru/ru/services/cdn
За него можно платить в рублях, он достаточно недорогой (~1р за 1гб трафика), не нужно думать про пиковую нагрузку.

---

UPD Прочитал комментарии, вопрос по сути нужно переформулировать "как сделать пиратскую раздачу видео со своей рекламой за копейки".
Ответ на этот вопрос: CDN нафиг не нужен, встраивайте рекламу на уровне фронта/видео-плеера, само видео тащите из плеера p2p через торенты или откуда угодно еще.

Comments

[Дмитрий Энтелис]

NovaVortex, я бы не хотел переходить на личности, но хотел быть дать дружеский совет: завязывайте с болотом непонятных проектов сомнительной легальности и переходите в настоящую разработку.
Тогда вы поймете что CDN решает те проблемы (и удовлетворяет тем требованиям) о которых вы даже не думали и не представляли, делая свой пиратский хостинг.