Как эффективно перекодировать видео?

Question

[Vlad Ivanov]

Два видеофайла

Есть для примера 2 видеофайла. На картинке показал пересчитанные характеристики каждого из файлов.
Второй файл в 7 раз "информативнее", но всего втрое больше.
Вывел информацию из Media Player Classic. По информации о кодировании принципиальной разницы не увидел.

Хотелось бы найти способ перекодировать видео более эффективно: т.е. получить более высокий ФПС (потому что 20 кадров выглядят отвратно) и меньший размер файла. По возможности используя FFMPEG. (про более эффективные кодеки av1 или vp9-webm знаю, но они не всегда и везде поддерживаются)

Что можно сделать? С чего начать? Куда копать?

Comments

[hint000]

Второй файл в 7 раз "информативнее", но всего втрое больше.

Так считать неправильно.
Представьте, такой видеофайл: на протяжении часа вам показывают статичную картину "Негры ночью воруют уголь", она же "Чёрные кошки в тёмной комнате", она же "Чёрный квадрат художника Малевича". В одном видеофайле эта картина в разрешении 100*100, во втором 10000*10000. Второй файл в 10000 раз "информативнее", а на деле если их сжать, то окажется, что их размеры не сильно отличаются. Для понимания: если вы возьмёте чёрный квадрат 100*100 и масштабируете его в 100 раз, то не заметите, что он выглядит хуже, чем 10000*10000 без масштабирования.

Теперь усложним задачу. Возьмём в качестве кадра шахматную доску 10*10 клеток в разрешении 100*100 и такую же доску 10*10 клеток в разрешении 10000*10000. Масштабируйте 100*100 в 100 раз и вы снова не заметите разницу (на самом деле есть нюанс, но я чуточку упрощаю), хотя вроде бы "информативнее в 10000 раз". :)

Теперь зайдём с другой стороны, возьмём шахматную доску 1000*1000 клеток в разрешении 100*100 и в разрешении 10000*10000, в первом случае увидим ровный серый фон вместо шахматной доски - наконец-то разница заметна, да и разница в размерах файлов стала больше. Уже понимаете, что именно даёт весомый вклад в размер файлов? Точно, это высокие частоты на картинке.

А теперь возьмём последнюю доску и в каждом кадре будем менять чёрные и белые клетки (ну или поворачивать доску на 90 градусов). В разрешении 100*100 у нас все кадры будут одинаково серыми. И вот теперь разница в размерах файлов станет действительно огромной, когда мы добавили высокие частоты не только в пределах одного кадра, но и между кадрами.
Теперь мораль басни: чем меньше на видео высоких частот, тем меньше разница в размерах для разных разрешений. Правильно?

[Vlad Ivanov]

hint000, хах, ну в целом аналогия понятна)
Извините, фрагменты не покажу, но первый файл "по ощущениям" 100х100, а за счёт 20 кадров и вовсе 10х10, а второй 1000х1000. Вот как бы ужать так же... Ощущения-то важнее всего. Первый это фильм скачанный из ВК, второй - пережатое телегой неспешное видео.... Умеют ведь как-то....
Есть ещё нейросетевые конвертеры, апскейлеры, даже бесплатные, они сглаживают артефакты, выглядит приятнее, но там большие затраты по времени

[Василий Банников]

Vlad Ivanov, смотри, у тебя тут две независимые задачи:
Добавление новых кадров и кодирование.

Для "эффективного" кодирования следует использовать просто более новые кодеки. h265, упомянутый vp9 итд.
И сравнивать эффективность кодирования следует на одном и том же исходнике.

[shurshur]

Vlad Ivanov, можешь посмотреть чат https://t.me/WeArchivingInternet, там как раз в последнее время много флуда было про способы кодирования видео, с примерами и обсуждениями настроек.

Answer 1

[Saboteur]

Первому файлу нужно сжать 402240 точек на кадр, 20 fps, получаем в секунду 8 млн точек. Видим сжатие 817 kb/sec
Второму файлу нужно сжать 921600 точек на кадр, 60 fps, получаем в секунду 55.3 млн точек. Видим 2526 kb/sec

Сравниваем 55.3 / 8 и 2526 / 817 = 6.9125 и 3.0917992656058751529987760097919

То есть разница в "качестве сжатия" всего в 2 с хвостиком раза.
В данном случае еще следует обратить внимание, что видео с маленьким разрешением часто скрадывает мелкие движения, их вообще на нем не видно, и соответственно оно упрощается. Либо вообще можно проверить что за видео - фильмы в среднем сжимаются гораздо хуже, чем какие-нить презентации с кучей статического контента.

По поводу размера файлов, еще обращу внимание что 128 и 104 kb/s для звука - значимо влияет на размер файла. Звук вообще может занимать четверть а то и треть, ибо сжимается хуже, чем видео.

Ну собственно и все. Тут оба видео сжаты одним и тем же кодеком, и сложно предположить, что можно как-то заметно качественнее пережать, дефолтные настройки в современных кодеках обычно fits many, и какие-то кастомные настройки обычно влияют не столько на размер, сколько на адаптацию сжатия к контенту видео.

получить более высокий фпс из кадров которых не существует?? Ну не знаю, можно просто продублировать кадры. Можно в ffmpeg попросить создать промежуточные кадры, но оно может заметно исказить оригинал, и для художественного кино это может оказаться нежелательным эффектом.

В общем тут нет некачественного сжатия. Надо сравнивать контент (наличие статических частей экрана, количество цветовой гаммы и так далее).