Что и как декодирует видео в браузере?

Question

[DWZ]

Подскажите, пожалуйста, как происходит декодирование видео при его воспроизведении в браузере под Windows7? Вот скрипт дёрнул с сервера несколько мегабайт, которые представляют собой, скажем, TS-файл или кусок файла MP-4. Что происходит дальше? Кто дальше разбирается в этой мешанине байтов? Кто разбирает формат, что вот тут у нас звук, а тут изображение? Кто разжимает изображение в конечный вид, который мы видим на экране? Скрипт? Браузер? ОС? Видеоплата?

Используются ли при этом стандартные кодеки, установленные в системе? Кто их вызывает? Что и в каком виде подаётся на вход и что имеем на выходе? Кто решает, что надо использовать именно этот кодек?

Как всё это взаимодействует друг с другом? Где про это почитать? (Ответ "В Интернете/Гугле" - не принимается ;) )

Answer 1

[Рональд Макдональд]

Кто дальше разбирается в этой мешанине байтов? Кто разбирает формат, что вот тут у нас звук, а тут изображение? Кто разжимает изображение в конечный вид, который мы видим на экране?

Кодек.

Используются ли при этом стандартные кодеки, установленные в системе?

Обычно они встроены в браузер.

Ну мне как-то нечего больше добавить. Видео декодируется, внезапно, кодеком, который подрублен в браузер. Гуглите по "H264", например, или чо там.

Comments

[DWZ]

Кто дальше разбирается в этой мешанине байтов? Кто разбирает формат, что вот тут у нас звук, а тут изображение? Кто разжимает изображение в конечный вид, который мы видим на экране?

Кодек.

Как ему передаются байты? Скрипт какой-то метод в браузере вызывает?

Ему на вход исходный поток байтов из TS или MP4 подаётся или кто-то его демуксит? И что получается в итоге - прямо нужные байты в видеопамять пишутся? Или просто PSet() или BitBlt() происходит? Или что?

Используются ли при этом стандартные кодеки, установленные в системе?
Обычно они встроены в браузер.

А как браузер узнаЁт, какой кодек вызывать? Ему скрипт говорит? Или какой-то анализатор/энумератор имеется?

Гуглите по "H264"

А для *НЕ* H264 архитектура будет другая или как?

Там всё статьи на тему "Как организовать трансляцию?" и "Что делать, если не воспроизводится/воспроизводится плохо?". Меня же интересует именно АРХИТЕКТУРНЫЙ вопрос.

Answer 2

[Армянское Радио]

Зависит от браузера и операционной системы.
Chrome честно использует куски из ffmpeg, а если видеокарта поддерживает (а она обычно поддерживает), то декодирует прямо на ней.

Видеофайл, обычно, это сложный контейнер, содержащий много потоков данных - звук, видео, субтитры и так далее. Процесс упаковки в контейнер называется муксинг, распаковки - демуксинг. Соответственно, кусок сначала попадает в демуксер и из него вынимаются нужные потоки.
Демуксер может быть частью ffmpeg или gstreamer, может быть частью DirectX, может быть частью Андроида (AMediaFormat).

После демуксера конкретно видео поступает в декодер - аппаратный (на видеокарте) или программный, а потом на экран.

Программный декодер опять же может быть частью ffmpeg или gstreamer, или из DirectX (это к вопросу, используются ли установленные кодеки)

Comments

[DWZ]

Chrome честно использует куски из ffmpeg

В смысле - ffmpeg.exe? Или DLL, которые с ним идут?

а если видеокарта поддерживает (а она обычно поддерживает), то декодирует прямо на ней.

То есть скрипт передаёт буфер с байтами некоемому методу, исполняя который, браузер передаёт эти байты через вызов соотв. API в Винду, а та через видеодрайвер - в видеоплату, которая их разжимает и отображает?

Соответственно, кусок сначала попадает в демуксер и из него вынимаются нужные потоки.

Демуксит КТО? Скрипт? Браузер? Винда? Драйвер? Видеоплата?

[Армянское Радио]

В смысле - ffmpeg.exe? Или DLL, которые с ним идут?

Dll он использует

Демуксит КТО? Скрипт? Браузер? Винда? Драйвер? Видеоплата?

Демуксит демуксер. Его код может быть как одной из длл, идущих вместе с браузером, так и в венде, так и в стороннем кодеке, который зарегистрирован в DirectX.

[DWZ]

Демуксит демуксер.

Ну, это-то ясно :)))

Его код может быть как одной из длл, идущих вместе с браузером, так и в венде, так и в стороннем кодеке, который зарегистрирован в DirectX.

Опаньки :((( Вот, к примеру, скачал у меня скрипт TS-файл. Как браузер узнаёт, какая DLL его демуксить будет?

[Армянское Радио]

Вопрос сильно смахивает на проблему X-Y, так что ответьте на такой вопрос - что вы такое делаете, что вам вдруг сильно стало интересно, как оно работает.

[Армянское Радио]

DWZ, Он подряд перебирает те средства, которые ему доступны. А так как браузеров много и операционок тоже много, вариантов ответа будет еще больше.

[DWZ]

Он подряд перебирает те средства, которые ему доступны.

Алгоритм этого дела где-то опубликован?

А так как браузеров много и операционок тоже много, вариантов ответа будет еще больше.

Ладно, ограничимся FireFox или Chrome под Windows 7.

[DWZ]

что вы такое делаете, что вам вдруг сильно стало интересно, как оно работает.

Да ничего, просто интересуюсь. Просто раньше были книжки Скенлона, Нортона о том, как устроен и работает компьютер. Книжки братьев Фроловых про Винду были. А тут у меня прямо перед носом происходит нечто, о чём я не имею понятия даже приблизительно.

[Армянское Радио]

DWZ, читайте исходники.

[Moskus]

DWZ, Firefox, например - opensource. Если вы в состоянии понять то, о чём спрашиваете, на том уровне, на каком спрашиваете, проблемы с чтением исходников быть не должно

Answer 3

[alex1478]

Грубо говоря всё работает так:
Видео декодируется браузером по алгоритму декодирования данного формата видео. Декодирование происходит средствами процессора, картинка тоже создаётся самим браузером внутри окна. Всё окно браузера, за исключением рамок окна, создаётся самим браузером средствами процессора. Эта картинка отдаётся на видеокарту, которая выводит её на экран, совмещая с остальными элементами DE.
Если браузер поддерживает аппаратное декодирование на видео карте, то на видеокарту отдаётся окно браузера с пустотой вместо видео и поток байт самого видео с указанием координат, слоя, позрачности и тд. Видео карта это всё совмещает и выводит.
Но опять же говорю что это очень грубое описание процесса, слишком много нюансов.

Comments

[DWZ]

Видео декодируется браузером по алгоритму декодирования данного формата видео.

Как именно браузер узнаёт, что за формат видео ему подсунули? А в случае аппаратного декодирования браузер передаёт в видеоплату параметры видео и используемый кодек или он тупо передаёт набор байтов, а видеоплата сама с этим разбирается?

совмещая с остальными элементами DE.

Что такое DE? Desktop environment?

это очень грубое описание процесса, слишком много нюансов.

Вот и хотелось бы почитать про эти нюансы.