Сергей Соколов

Может, есть фильтр - надо продолжить поиски.

Но вот ещё идея: из кадра вычитать предыдущий с помощью фильтра tmix. Если два кадра идентичны, результат будет полностью черный.
Мерой разности или числа неодинаковых пикселей будет средняя яркость кадра: её отличие в плюс от нуля.
Проверить вариант, что при вычитании светлого из чёрного вмето отрицательного значения останётся всё тот же 0. Тогда надо прогонять дважды: А - Б и Б - А.

Можно сделать, используя фильтр overlay

Готовую команду нет времени писать, но для старта вам примерно такое:

ffmpeg  \
-i fon.jpg  \
-i vertvideo.mp4  \
-filter_complex "  \
[0:v] setpts=PTS-STARTPTS, scale=1280x720 [fon];  \
[1:v] setpts=PTS-STARTPTS, scale=-2x720 [video]; \
[fon][video] overlay=x=(W-w)/2  \
"  \
-y -hide_banner  \
result.mp4

с одним файлом всё просто:

ffmpeg \
  -i "c:/ffmpeg/videos/video_1.avi"  \
  -t 10  \
  -c:v copy  \
  -c:a copy  \
  "c:/ffmpeg/videos2/video_1.avi"

Но подставлять правильные имена и адреса файлов – задача не для ffmpeg, а для скрипта. Под Linux/MacOS это был бы bash-скрипт, как вариант. Под Windows тоже что-то типа bat-файла надо написать.

Вот тут предлагают такую команду для этого эффекта:

ffmpeg \
  -i input.mp4 \
  -lavfi '[0:v] scale=ih*16/9:-1, boxblur=luma_radius=min(h\,w)/20:luma_power=1:chroma_radius=min(cw\,ch)/20:chroma_power=1[bg];  [bg][0:v]overlay=(W-w)/2:(H-h)/2, crop=h=iw*9/16' \
  -vb 800K \
  output.webm

Пример: исходное видео и результат.

Адаптируйте под свою задачу.

Первый же фильтр fps=1/16 берет 1 кадр из 16 секунд.
Чтобы получилось ровно 80 кадров, надо заранее знать длину видео и расчитать такой fps, чтобы получилось 80 кадров: fps=80/длина_видео_в_секундах

Ещё стоит обратить внимание на фильтр thumbnail – он выбирает наиболее значимый кадр и серии кадров. Работает чуть медленнее и требует больше памяти, но выбранные кадры получаются лучше - без размытого движения и т.п. Тут тоже нужно знать длину видео и частоту кадров, т.е. общее число кадров в видео. И разделить его на 80. Например, видео длиной 15 минут с частотой кадров 30 даёт 30 * 15 * 60 = 27000 кадров. Разделить на 80 получится 337.5 кадров. Т.е. нужно бы использовать вместо fps=.. фильтр thumbnail=338
Но может просесть скорость и вырасти потребление памяти.

Склеивать видео – это отдельная команда, в любом случае.
Если у вас входные файлы в одинаковом кодеке и формате, то их не нужно перекодировать, а можно сразу склеивать.

p.s. «объединить в одну» можно записав все команды в один скриптовый файл: .bat или .sh, в зависимости от платформы.

Всё описанное можно сделать в ffmpeg.

Анимированный зум делается фильтром zoompan. Он с только целыми координатами работает, поэтому, чтобы не дергался, делать это в повышенном разрешении. Потом даунсэмплить.

Например, из недавнего проекта, где интерактивно генерилась анимация по шаблону, это из bash-скрипта:

FILTER="[0]                                                   \
    pad=color=0x99999900:w=${wIn}:h=${hIn}:x=${xPad}:y=${yPad}, \
    scale=20064x3264,                                           \
    zoompan=                                                    \
      s=${wSrc}x${hSrc}                                         \
      :d=${frames}                                              \
      :z='( ${zoomcode} ) / 16.89999'                           \
      :x='2*(${xPad} + ${xPoi}) * (zoom - 1) / zoom'            \
      :y='2*(${yPad} + ${yPoi}) * (zoom - 1) / zoom'            \
      [fg];                                                     \
      [1][fg]overlay=x=247:y=438                                \
  "

Т.к. зумить меньше, чем влезает во вьюпорт нельзя, сначала картинке добавляется по краям паддинг прозрачный, чтобы можно было уменьшать. Потом размер увеличивается с запасом раз в 5-10, чтобы сделать незаметными целочисленные пиксельные шаги зума и смещения.

ffmpeg поможет. Что-то типа:

ffmpeg  -i audio.mp3  -i video.webm  -c:v libx264  -c:a aac  result.mp4

-i audio.mp3 указывает один из входов, файл со звуком;
-i video.webm ещё один вход, файл с видео;
ffmpeg сам разберётся, откуда брать звук, а откуда видео дорожку, если каждой по одной и не приходится выбирать.
-c:v libx264 указывает видео кодек, которым жать видео дорожку;
-c:a aac аудио кодек, которым жать аудио.
result.mp4 – куда сохранить результат.

Upd. чтобы смиксовать оригинальное аудио из видеофайла с отдельным аудиотреком, причем меньшей длины, чем видео, придётся во-первых, повторять накладываемый аудиофайл, а во-вторых использовать аудиофильтр amix:

ffmpeg \
-i video.mp4 \
-filter_complex "amovie=audio.mp3:loop=0,asetpts=N/SR/TB[over]; [0][over]amix=duration=shortest" \
-c:v copy \
result.mp4

Старый ответ, про замену аудио трека.

Чтобы заменить оригинальное аудио на другое из отдельного файла, нужно указать оба входа, и через -map показать, откуда брать аудио и видео.
Примерно так:

ffmpeg \
-i video.mp4 \
-i newAudio.mp3 \
-c:v copy \
-c:a aac \
-map 0:v:0 \
-map 1:a:0 \
result.mp4

1. можно: в промежуточных файлах использовать кодеки, допускающие контактенацию
   
2. именно. Аудио лучше в pcm:

   -c:a pcm_s16le -f s16le -ar 48000 -ac 2  ... audio.pcm

   , видео в ts:

   -c:v libx264 -bsf:v h264_mp4toannexb -f mpegts  ... video.ts

   
   Их потом можно конкатенировать по-быстрому -i "concat:video1.ts|video2.ts"
   
   
3. наверное быстрее один раз запустить шелл скрипт со всеми ffmpeg-командами
   
4. диск достаточно быстр обычно
   

Возможно, mp4 не позволяет простой конкатенации файлов, поэтому при склейке он декодируется и снова жмётся.

Быстрее один раз разжать видео в .ts формат, который потом можно просто склеивать.
Делал похожее для сборки mp3+картинки в статичное видео.

Примерно так:

Потом остаётся собрать из аудио и видео общий файл. В mp4 аудио идёт в формате AAC. Для скорости можно заранее разжать mp3 в aac, заодно измерив точную длительность.

Надо сделать из картинки ролик точно такого же размера, формата и кодека, как основное видео.

И объединить их через concat.