Какие «инструменты» использовать для low latency video streaming?

Question

[Владимир]

Добрый день,
Давно пользуюсь сервисом Parsec для стриминга desktop'а с домашней машины до ноута на даче:

Win (2080 RTX + parsecd) -> PLC -> Wireguard -> ISP -> Internet
Internet -> Beeline (4GLTEb3) -> E3372h (18dbi) -> WG -> PLC -> WiFi -> Ubuntu (i915 + parsec)

Так как в любой момент, он перестанет работать, то задумался над собственной реализацией для замены. А именно:
DXGI w/ Desktop Duplication API + Nvidia Encode API -> h264 -> I,P-frames -> RUDP -> I,P-frames -> VAAPI + OpenGL (fragment shader : YUV420p -> RGB)

Для начала, я собираюсь реализовать три компоненты отдельно друг от друга:

• DXGI .... I,P-frames - https://github.com/NVIDIA/video-sdk-samples/tree/m...
  
• RUDP - LiteNetLib C# - для кросс-платформенности
  
• I,P-frames .... VAAPI + OpenGL - https://github.com/fmor/demo_ffmpeg_vaapi_gl
  

Вопросы:

1. Во всех примерах fragment shader'а YUV420-> RGB я видел использование нескольких текстур. Не подразумевает ли это что полученный из Decoder'а uint8[] надо "делить", те копировать?! можно ли весь фрейм YUV420P из декодера без каких-то "манипуляций" использовать в шейдере... те когда ОДНА текстура содержит YYYYYYYYUUVV ?
   
2. RUDP - подскажите библиотеку high performance low latency UDP (optional reliable) на Си... и желательно кросс платформенную, чтобы можно было использовать на сервере и клиенте.
   
3. Правильно ли я понял, что потеря одного - двух I-frame'ов не критична.... те я могу использовать следующие за ними P-frame'ы... да, будут артефакты, но они "очистятся" I-frame'ом?
   
4. Как реализовать dynamic resolution change на стороне декодера? передаётся ли инфа о смене wh через I-frame?
   

Comments

[ValdikSS]

Вы задаёте слишком основательные вопросы на ресурсе для новичков с поверхностными знаниями.

1. Зачем вам низкоуровневая работа с выводом видео прямо на opengl-контекст, не проще ли отдать эту задачу специализированным средствам, например, VLC или mpv?
2. Для того, чтобы вещать видео с низкой задержкой, не нужен какой-то высокоуровневый надёжный транспорт — вещайте MPEG-TS через UDP. Если всё же сильно хотите улучшить доставку картинки при высокой потере пакетов, то присмотритесь к kcptun или QUIC.
3. Верно/верно.
4. Если речь именно о клиенте (например, поток слишком сложен для декодирования в реальном времени), то обычно для такого используют стандарты «слоевого» кодирования. Для H.264 это H.264-SVC.

[Владимир]

ValdikSS,
1. максимально минимизировать задержку... работая максимально напрямую с low level API...
Для декодирования на linux'е буду использовать VAAPI и сразу текстурой (ами) в шейдер... + я ведь ещё буду user input собирать и отправлять вместе с UDP ACK... те... не только проигрователь аля VLC, mpv, а remote desktop
2. У меня в UDP пакете будет минимальный overhead... SeqNo, Type, Payload.. ( 3 байта на SeqNo, 1 байт на тип) и самое главное feedback (ACK) для ретрансмита пакетов и дропа фреймов при увеличении RTT

[ValdikSS]

Владимир,

Мне уведомление о вашем ответе не пришло ни на почту, ни в штуку слева.

1. mpv оптимизирован под низкую задержку вывода и поддерживает встраивание окна в свою программу, как и вывод в opengl, шейдеры и декодирование через vaapi/vdpau/broadcom для raspberry pi. Дело ваше, конечно, но я бы не стал реализовывать видеоплеер заново. Получению ввода это не мешает.
2. MPEG-TS это и есть контейнер, адаптированный под трансляции в реальном времени. Он используется для одностороннего ТВ-вещания через спутник и антенну, а также через интернет, и предполагает работу в условиях потери пакетов. Не понял насчет дропа фреймов при увеличении RTT — речь о пропуске кадров на клиенте, когда внезапно пропал интернет на долю секунды? Если у вас нет переотправок, то кадры вам и не придут, а если они есть, то вы их уже получили — просто отбросьте без декодирования, feedback для этого не нужен.

[Владимир]

ValdikSS,
1. Спасибо за рекомендацию.. буду делать на основе примера SDL + opengl + mpv (https://github.com/mpv-player/mpv-examples/blob/ma...) + кастомный stream_cb (mpv_stream_cb_add_ro).
2. feedback'ом хочу при "просадке" сети сообщать хосту, чтобы он например уменьшил разрешение frame'ов...

Цель - на клиенте добиться 30 fps.