Как сложить несколько видео в сетку?

Question

[Илья]

Я нашёл эту статью в документации ffmpeg.
Как можно сложить несколько видео в ряд или сетку подобным образом используя библиотеки libav или gstreamer?
Нигде не могу найти пример как сделать подобное с фильтрами или складывая кадры.

Comments

[Viktor T2]

gst-launch-1.0 -e \
videomixer name=mix background=0 \
   sink_1::xpos=0   sink_1::ypos=0 \
   sink_2::xpos=200 sink_2::ypos=0 \
   sink_3::xpos=0   sink_3::ypos=100 \
   sink_4::xpos=200 sink_4::ypos=100 \
! autovideosink \
filesrc location='/home/debtest/CandidAridLeafhopper-mobile.mp4' \
   ! decodebin \
   ! videoscale \
   ! video/x-raw,width=200,height=100 \
   ! mix.sink_1 \
filesrc location='/home/debtest/89b6db2df4b74cf1abcf9072b014c49f.mp4' \
   ! decodebin \
   ! videoscale \
   ! video/x-raw,width=200,height=100 \
   ! mix.sink_2 \
filesrc location='/home/debtest/83d4d5fbfb7c450fa230345f145a0b05.mp4' \
   ! decodebin \
   ! videoscale \
   ! video/x-raw,width=200,height=100 \
   ! mix.sink_3 \
filesrc location='/home/debtest/a2206bf8-4119-4a79-a3eb-7c12d72c4134.mp4' \
   ! decodebin \
   ! videoscale \
   ! video/x-raw,width=200,height=100 \
   ! mix.sink_4

gst-launch-1.0 -e \
videomixer name=mix background=0 \
   sink_1::xpos=0   sink_1::ypos=0 \
   sink_2::xpos=200 sink_2::ypos=0 \
   sink_3::xpos=0 sink_3::ypos=100 \
   sink_4::xpos=200 sink_4::ypos=100 \
! autovideosink \
uridecodebin uri='file:///home/debtest/CandidAridLeafhopper-mobile.mp4' \
   ! videoscale \
   ! video/x-raw,width=200,height=100 \
   ! mix.sink_1 \
uridecodebin uri='file:///home/debtest/89b6db2df4b74cf1abcf9072b014c49f.mp4' \
   ! videoscale \
   ! video/x-raw,width=200,height=100 \
   ! mix.sink_2 \
uridecodebin uri='file:///home/debtest/83d4d5fbfb7c450fa230345f145a0b05.mp4' \
   ! videoscale \
   ! video/x-raw,width=200,height=100 \
   ! mix.sink_3 \
uridecodebin uri='file:///home/debtest/a2206bf8-4119-4a79-a3eb-7c12d72c4134.mp4' \
   ! videoscale \
   ! video/x-raw,width=200,height=100 \
   ! mix.sink_4

GStreamer C# пример
https://github.com/there-was-a-face/1-GStreamer-video
https://github.com/there-was-a-face/1-GStreamer-vi...

Answer 1

[pantsarny]

xstack
ffmpeg -i input0 -i input1 -i input2 -i input3 -filter_complex "[0:v][1:v][2:v][3:v]xstack=inputs=4:layout=0_0|w0_0|0_h0|w0_h0[v]" -map "[v]" output

hstack + vstack
ffmpeg -i input0 -i input1 -i input2 -i input3 -filter_complex "[0:v][1:v]hstack=inputs=2[top];[2:v][3:v]hstack=inputs=2[bottom];[top][bottom]vstack=inputs=2[v]" -map "[v]" output

Comments

[Илья]

Да. примеры через cli я тоже находил. как это сделать в коде я не знаю. Особенно не ясно как с несколькими источниками работать.

[U235U235]

Илья, всегда думал, что в OpenSource можно открыть исходники и посмотреть.. Нет?

[Viktor T2]

VLC
VLC HowTo/Make a mosaic https://wiki.videolan.org/VLC_HowTo/Make_a_mosaic/
C# - обертка https://code.videolan.org/videolan/LibVLCSharp
С# - пример https://code.videolan.org/mfkl/libvlcsharp-samples...
Еще C# https://github.com/grigory-lobkov/rtsp-camera-view
Python https://github.com/vzhd1701/gridplayer

[pantsarny]

Илья, вызовите из кода cli команду

[Илья]

pantsarny, это не то что мне надо. так конечно было бы просто. но мне бы на c++ сделать это

[Илья]

U235U235, да, всё верно. но я не могу разобраться как работают фильтры. и тем более как построить конвеер фильтров для нескольких кадров сразу.