Как рисовать прямоугольники в ffmpeg?

Question

[Серёга]

Есть IP камера, которая определяет в видеопотоке людей, транспорт, или любой движущийся объект. Камера выдаёт в xml координаты объекта (координаты прямоугольника, который обрисовывает объект). Задача делать снапшот с потока камеры, на полученном снапшоте рисовать рамку по координатам объекта, ужимать полученный .jpg с 4к до 1080p и сохранять на локальном диске. (Далее всё это отправляется в мессенжер).
Сейчас я это делаю в NodeRED с помощью готовых нод, там и рамку можно нарисовать, и надпись наложить, и ресайзнуть. Но процесс занимает 15-20 сек (Raspberry 3). Перетащил всё это на Jetson Nano, процесс стал занимать 12 сек. Заметил, что все процессы идут в десятки раз быстрее, если использовать ffmpeg. Например ресайз через него занимает 0,12 сек, через ноду NodeRED - 6 сек.
Но не могу никак понять, как рисовать рамку или хотя бы линии в ffmpeg. Нашёл на просторах интернета код:
ffmpeg -i in.avi -vf "color=red@0.5:50x50 [c]; [in][c] overlay=10:10" out.avi
перерисовал его в
ffmpeg -i 01.jpg -vf "color=red@0.5:50x50 [c]; [in][c] overlay=10:10" out.jpg
и он рисует полупрозрачный квадрат, но выкидывает кучу ошибок. Также нигде не смог найти значение параметров [c]; [in][c]. Документацию смотрел, ничего не понял.
Как можно нарисовать на изображении простую линию?

Answer 1

[Серёга]

Разобрался. Вроде всё просто. Но не пойму как устранить ошибки.

ffmpeg -i /media/01.jpg -vf "drawbox=x=1400:y=200:w=200:h=500:t=3:c=yellow" -frames:v 1 /media/77772.jpg

Ругается:
The specified filename '/media/77772.jpg' does not contain an image sequence pattern or a pattern is invalid.
Use a pattern such as %03d for an image sequence or use the -update option (with -frames:v 1 if needed) to write a single image.
Как указать, что обрабатываться будет только один кадр?

Comments

[Сергей Соколов]

попробуйте добавить фильтр select select=eq(n\,0) чтобы выбрать самый первый кадр, например

ffmpeg \
  -i /media/01.jpg \
  -vf "select=eq(n\,0), drawbox=x=1400:y=200:w=200:h=500:t=3:c=yellow" \
  /media/77772.jpg

[mayton2019]

ffmpeg говорит что для sequence из картинок нужен шаблон множества файлов. Типа

ffmpeg -i "/media/%02d.jpg" .....

[Сергей Соколов]

какая версия ffmpeg используется? Сейчас проверил локально, прекрасно рисует рамку и без указания кадров и пр.:

ffmpeg -i image.jpg  -vf "drawbox=x=140:y=200:w=200:h=500:t=3:c=yellow"   output.jpg

ffmpeg version 4.4.1-tessus

[Серёга]

Сергей Соколов, рисует. но ругается.
ffmpeg version 5.1.6-0+deb12u1 Copyright (c) 2000-2024 the FFmpeg developers
built with gcc 12 (Debian 12.2.0-14)

[Серёга]

Сергей Соколов,

root@jetson-nano:~# ffmpeg -i /media/01.jpg -vf "select=eq(n\,0), drawbox=x=1400:y=200:w=200:h=500:t=3:c=yellow" /media/777003.jpg
ffmpeg version 5.1.6-0+deb12u1 Copyright (c) 2000-2024 the FFmpeg developers
  built with gcc 12 (Debian 12.2.0-14)
  configuration: --prefix=/usr --extra-version=0+deb12u1 --toolchain=hardened --libdir=/usr/lib/aarch64-linux-gnu --incdir=/usr/include/aarch64-linux-gnu --arch=arm64 --enable-gpl --disable-stripping --enable-gnutls --enable-ladspa --enable-libaom --enable-libass --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcdio --enable-libcodec2 --enable-libdav1d --enable-libflite --enable-libfontconfig --enable-libfreetype --enable-libfribidi --enable-libglslang --enable-libgme --enable-libgsm --enable-libjack --enable-libmp3lame --enable-libmysofa --enable-libopenjpeg --enable-libopenmpt --enable-libopus --enable-libpulse --enable-librabbitmq --enable-librist --enable-librubberband --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libspeex --enable-libsrt --enable-libssh --enable-libsvtav1 --enable-libtheora --enable-libtwolame --enable-libvidstab --enable-libvorbis --enable-libvpx --enable-libwebp --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzimg --enable-libzmq --enable-libzvbi --enable-lv2 --enable-omx --enable-openal --enable-opencl --enable-opengl --enable-sdl2 --disable-sndio --enable-libjxl --enable-pocketsphinx --enable-librsvg --enable-libdc1394 --enable-libdrm --enable-libiec61883 --enable-chromaprint --enable-frei0r --enable-libx264 --enable-libplacebo --enable-librav1e --enable-shared
  libavutil      57. 28.100 / 57. 28.100
  libavcodec     59. 37.100 / 59. 37.100
  libavformat    59. 27.100 / 59. 27.100
  libavdevice    59.  7.100 / 59.  7.100
  libavfilter     8. 44.100 /  8. 44.100
  libswscale      6.  7.100 /  6.  7.100
  libswresample   4.  7.100 /  4.  7.100
  libpostproc    56.  6.100 / 56.  6.100
Input #0, image2, from '/media/01.jpg':
  Duration: 00:00:00.04, start: 0.000000, bitrate: 271127 kb/s
  Stream #0:0: Video: mjpeg (Baseline), yuvj420p(pc, bt470bg/unknown/unknown), 3840x2160, 25 fps, 25 tbr, 25 tbn
Stream mapping:
  Stream #0:0 -> #0:0 (mjpeg (native) -> mjpeg (native))
Press [q] to stop, [?] for help
Output #0, image2, to '/media/777003.jpg':
  Metadata:
    encoder         : Lavf59.27.100
  Stream #0:0: Video: mjpeg, yuvj420p(pc, bt470bg/unknown/unknown, progressive), 3840x2160, q=2-31, 200 kb/s, 25 fps, 25 tbn
    Metadata:
      encoder         : Lavc59.37.100 mjpeg
    Side data:
      cpb: bitrate max/min/avg: 0/0/200000 buffer size: 0 vbv_delay: N/A
[image2 @ 0xaaaaed01e5f0] The specified filename '/media/777003.jpg' does not contain an image sequence pattern or a pattern is invalid.
[image2 @ 0xaaaaed01e5f0] Use a pattern such as %03d for an image sequence or use the -update option (with -frames:v 1 if needed) to write a single image.
frame=    1 fps=0.0 q=14.8 Lsize=N/A time=00:00:00.04 bitrate=N/A speed=0.0702x
video:846kB audio:0kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: unknown

[Сергей Соколов]

Серёга, а, ну вот же русским английским языком прям пишут, что да как:

The specified filename '/media/777003.jpg' does not contain an image sequence pattern or a pattern is invalid.
Use a pattern such as %03d for an image sequence or use the -update option (with -frames:v 1 if needed) to write a single image.

Предлагают прям два варианта решения: либо %03 в имени выходного файла, чтобы нагенерило серию картинкок 000..999, либо -update добавить, чтобы перезаписывало один и тот же файл, и имеет смысл добавить -frames:v 1, чтобы сгенерило 1 кадр и остановилось.

Answer 2

[Сергей Соколов]

ffmpeg \
  -i /media/01.jpg \
  -vf "drawbox=x=1400:y=200:w=200:h=500:t=3:c=yellow" \
  -update \
  -frames:v 1 \
  /media/777003.jpg

Comments

[Денис]

Сергей, у Вас ошибка.

ffmpeg \
  -i /media/01.jpg \
  -vf "drawbox=x=1400:y=200:w=200:h=500:t=3:c=yellow" \
  -update 1 \
  -frames:v 1 \
  /media/777003.jpg

-update <0, 1>
Если установлено значение 1, имя файла всегда будет интерпретироваться как просто имя файла, а не шаблон, и соответствующий файл будет постоянно перезаписываться новыми изображениями. Значение по умолчанию - 0.

Также могу порекомендовать добавить это:
-q:v 1 -qmin 1

Качество картинки будет лучше.