Как склеить кадры с разным разрешением в одно видео ffmpeg node.js?

Question

[Ростислав]

На ноду приходит mediaStream который мне нужно записать в файл, для этого я использую ffmpeg. Проблема в том что с клиента приходит видео с вебкамеры сначала в разрешении 540х540 а спустя 20 секунд 720х720, на фронте пытался стандартизировать разрешение но браузер это игнорирует:

const data = await navigator.mediaDevices.getUserMedia({video: {
        width: { min: 640, ideal: 1280 },
        height: { min: 400, ideal: 720 },
      }})

Если начать записывать с одным разрешнием а потом продолжить с другим то дальше будет зеленый экран, что можно с этим сделать? Я пробовал записывать в разные файлы и обеденять их потом, но вылетала ошибка

Нодовский код записи в файл:

https://gist.github.com/rostikowb/3fc8330b6c2d9826...

Comments

[SagePtr]

Можно пример хотя бы одного видео, где размер меняется на лету?

Answer 1

[Сергей Соколов]

может, добавить фильтр scale и приводить к фиксированному размеру?

Comments

[Ростислав]

Вроде бы то что нужно, сейчас попробую, это же встроенная библиотека?

[Ростислав]

Добавил

но выкидывает ошибку

[Сергей Соколов]

Ростислав, не так, это фильтр. Посмотрел за вас документацию этого fluent-ffmpeg, похоже так:
.videoFilters('scale=w=1280:h=720')
Но у вас же квадратное видео на входе, а на выход его непропорционально растягиваете. Это точно то, что задумано?

[Ростислав]

Сергей Соколов, Я думал что оно не растягивает а заполняет недостачу черными полосами, или как-то так, просто не факт что другие вебкамеры будут выдавать соотношение 1:1

[Сергей Соколов]

Ростислав, для заполнения пригодится фильтр pad

pad="ih*16/9:ih:(ow-iw)/2:(oh-ih)/2"

[Ростислав]

Сергей Соколов, Ого, спасибо, сейчас попробую, только что-то сервер виснет часто, наверное для такого нужна машина с видеокартой?

[Сергей Соколов]

Ростислав, GPU не обязательно, но вообще перекодировка видео довольно «тяжёлая» задача, а FFmpeg не стесняясь жрёт все доступные ему ресурсы.