Как Youtube удается хранить так много видео?

Question

[Дмитрий Яковлев]

Вопрос конечно риторический, но все же. Каждую секунду туда заливается огромное количество данных. Сколько жестких дисков для этого нужно? Тем более большинство видео 720 или даже 1080p.

Comments

[xmoonlight]

Очень хороший вопрос.
А главное - когда это всё внезапно закончится)

[Roman Mindlin]

Я слышал, что они скупили по дешевке все старые видеомагнитофоны и видеокассеты, поставили их в секретном месте и записывают видео на них. Получается хранить видео почти на халяву.
Правда часто видеомагнитофоны ломаются, тогда ролик удаляют

Answer 1

[Dimonchik]

так и так

Answer 2

[Saboteur]

Youtube практически ничего не зарабатывает.
Оборот огромный, но почти вся прибыль уходит на развитие и обслуживание.
Официальных данных немного. Но за 2013 и 2014 год есть цифры в $3 млрд и $4 млрд, из которых практически все ушло на развитие и обслуживание, и менее 5% от этих денег заявлено как доход.

Грубо говоря, если владелец YouTube на год перестанет его развивать, он станет мультимиллиардером. А с другой стороны, можно за год вложить в развитие сервиса еще, и в следующем году оборот вырастет еще на пару миллиардов. Пока что есть куда расти.

Comments

[Максим]

Как Youtube удается хранить так много видео?

[Saboteur]

Максим Ленский: "есть цифры в $3 млрд и $4 млрд, из которых практически все ушло на развитие и обслуживание"
То есть ОЧЕНЬ МНОГО ДИСКОВ.

[Максим]

Saboteur: вас заклинило на миллиардах .... вопрос где .... ответ очевиден на HDD/SSD но где сервер этих дисков ?

[Saboteur]

Максим Ленский: Сервер не один, вам следует почитать о том, что такое распределенная доставка контента
https://ru.wikipedia.org/wiki/Content_Delivery_Network
https://ain.ua/2014/10/24/kak-vyglyadyat-data-cent...

[Максим]

Saboteur: вот это и есть ответ ... а вы про какие то милиарды

[Saboteur]

Максим Ленский: Если вы не топикстартер, не стоит уточнять что хотел знать автор. Дайте СВОЙ ответ.

[Александр Смирнов]

Максим Ленский: Максим Ленский: Максим Ленский: Большое количество огромных датацентров с сотнями тысяч серверов и, в сумме, миллионы или даже десятки миллионов дисков (HDD). Вот туда и уходят миллиарды.

Answer 3

[Денис]

Во первых, вся функциональность видео хранится отдельно, дизлайки отдельно, миниатюры, лайки, коменты, и само видео... вы просто не представляете какие дада центры у гугла... там по горлодеру вдоль стеллажей передвигаются на колесах....

Answer 4

[xmoonlight]

Да фигня делов то:
1. Берём все ролики в одном разрешении и "режем" по-кадрово.
2. Выполняем поиск похожих кадров, высчитываем разницу с помощью операции XOR и преобразуем отклонения в бинарное "дерево".
3. Проставляем идентификаторы для каждого отклонения (ролик и номер кадра).

Всё. Мы храним только уникальный контент без единого дубля даже ЧАСТИ кадра!

При воспроизведении - также с "дерева" берём изменения кадр за кадром и формируем исходный видео-ролик.
(А гугл уже знает?!)))

Comments

[Александр Смирнов]

Заколебетесь собирать — на процессорах разоритесь.

Тем более, огромное кол-во видео у Гугла закэшировано и в разных точках. Например, у Гугла есть стойки с кэширующими серверами у провайдеров Дом.ру, Мегафон (провайдеры сами предоставляют площадку, чтобы экономить на трафике). Популярные видео кэшируются сразу в разные точки и уже оттуда берется конечными. Поэтому описанная вами схема плоха для такого трафика.

[xmoonlight]

Александр Смирнов: Не соглашусь, т.к. сборка кадра (и в итоге всего ролика) - это простая бинарная операция OR данных по указателям в "дереве". Она выполняется очень быстро, а связи в "дереве" чётко указывают на следующую порцию данных, а эти порции меньше размера одного кадра.

[Saboteur]

xmoonlight:
Выполнять доставку контента с другого континента дорого, дороже чем лишние винчестеры.
Восстанавливать контент тоже дороже, чем хранить копию.
Поэтому контент НЕ хранится в единственном экземпляре.
Автоматически более популярные видяшки размножаются так, чтобы пользователь их смотрел с ближайшего датацентра.

[xmoonlight]

Saboteur: Видимо, Вы из гугла)

[Saboteur]

xmoonlight: Нет, но в главном офисе бывал.

[xmoonlight]

Saboteur: тогда Вы не можете обладать правдоподобной информацией по хранению видео на гугл-серверах. Описанный Вами процесс - это лишь Ваш личный домысел/предположение.

[Александр Смирнов]

xmoonlight: Я вам описал коротко и я знаю это, т.к. имел дело с обслуживаем серверов Гугла в РФ. И не только у Гугла так.

[Saboteur]

xmoonlight: Это не так. Полезно знать, что человек не просто бывает в некоторых местах, но может там с кем-то общаться, получать знания из первых рук. И вообще - если немного погуглить, вы сами увидите, что это именно так.

[xmoonlight]

Saboteur: Ну значит у них не оптимальная схема распределения данных при хранении.

[Saboteur]

xmoonlight: Не вопрос, предложите лучше. Просто нужно учитывать, что оптимизация должна делаться по конкретным метрикам, а не просто "надо меньше данных".

[xmoonlight]

Saboteur: я уже предложил. детально расписывать - не вижу смысла. Достаточно просто почитать любой формат сжатия видеоданных - понять как работает видео-кодек и дальше понимать, что следующая часть кадра - берётся из узла "дерева" и т.д. (если кратце)

[Saboteur]

xmoonlight: И? Чтобы стримить видео на миллиарды пользователей, нужно не просто самый самый лучший кодек, который будет забирать минимум на дисках - место - не самое главное в данной ситуации.

Нужно хранить видео в нескольких форматах для разного качества связи.
Нужно, чтобы видео было доступно сразу на разных континентах, а не гонять его через океан.
Нужно, чтобы видео читалось не только под мощным ПК, но и на планшете, и на смартфоне, и на smartTV, где может не оказаться hw декодирования.

[xmoonlight]

Saboteur: вот этот ответ вообще выпал из темы!
Я не про доставку же говорю, а про сборку конечного ролика.

[Saboteur]

xmoonlight: Доставка не может идти с неподготовленного контента.
Например mpeg2 , в силу самого кодека, можно начинать смотреть в любой момент, а с декодированием кадров вперед - только с ключевого кадра, что влияет и на перемотку и на работу доставки контента поблочно.
Опять же, чтобы видео читалось на ВСЕХ устройствах, кодек должен быть не самым мощным, а совместимым.
Доставка и способ сжатия/хранения - на подобных масштабах отдельно не должны рассматриваться.

Answer 5

[Александр Смирнов]

Большое количество огромных датацентров с сотнями тысяч серверов и, в сумме, миллионы или даже десятки миллионов дисков (HDD). Это не считая кэширующих серверов в куче точек мира.

Answer 6

[pfg21]

Ну и не надо забывать про дедупликацию, заливаемый контент не отличается особой уникальностью, хомячки переливают из пустого в порожнее :)