Программа-детектор «оквадраченных» кадров в видео?

Question

[DWZ]

Есть видеофайл (кодек H264, контейнер TS или MP4), в котором из-за сжатия некоторые кадры пошли квадратиками. Флагов ошибки нет, счётчики по порядку.

Есть ли программа, которая скажет, какие именно кадры "заквадратились"? Не обязательно работающая с видео, можно с набором *.BMP.

Или хотя бы алгоритм? Или идея алгоритма?

Answer 1

[nidalee]

В H.264 и H.265 есть фильтр деблокинга, он ловит и пытается исправить именно эти артефакты. Нужно потрошить спецификации и исходники энкодера на предмет того, как эти кадры находит он.
Работать нужно именно с видео, поскольку специальный софт может точно находить размеры и позиции макроблоков, пережатие\потеря которых и дают эти артефакты. Таким образом, переведя p- и b- фреймы в картинки (фактически, набор i-фреймов) вы только усложните себе задачу.
Я бы копал сюда, сюда и далее.

P.S.: Да, кстати, StreamEye из ссылки выше такое скорее всего умеет. Но он, ЕМНИП, совсем платный. Были и бесплатные аналоги.

Answer 2

[hint000]

Или идея алгоритма?

Через преобразование Фурье считать спектр для каждого кадра. Битые кадры будут иметь 2-3 характерных пика на кратных частотах. Т.к. квадраты артефактов по идее должны иметь размеры 8x8, 16x16, 32x32, 64x64 пикселей.
Можно и второй вариант, попроще - считать среднюю по кадру контрастность между соседними ячейками сетки 8x8, 16x16,..

P.S. Особо не изучал вопрос, просто проходил мимо и рассуждал логически, так что на истину не претендую и сам с интересом прочитаю возражения и поправки. Задача-то интересная.

Comments

[DWZ]

Битые кадры будут иметь 2-3 характерных пика на кратных частотах.

Скорее, на высоких частотах будет провал. Ведь квадраты потому и образуются, что кодер что-то выкинул. Но это надо смотреть.

Можно и второй вариант, попроще - считать среднюю по кадру контрастность между соседними ячейками сетки 8x8, 16x16

У меня была похожая идея - кадр бьётся на блоки 8x8 и попиксельно сравнивается с аналогичным кадром из "эталона" *) и, если больше взятого с потолка числа пикселов отличаются более чем на другое взятое с потолка значение, объявлять тревогу. Проблема в том, как правильно найти эти значения.

Особо не изучал вопрос, просто проходил мимо и рассуждал логически,

Можно также границу искать, чтобы был резкий перепад между соседними блоками И по вертикали И по горизонтали. Главное, чтобы не придумали рисовать орнамент точно по границам блоков для лучшей компрессии.

Только вот пиксел другого цвета в уголке квадратика меня смутил.

Задача-то интересная.

Я тоже надеялся, что народ подключится к этому челленджу. Неужели, кроме меня, никому в мире это не надо?

*) "Эталон" в кавычках потому, что у него тоже бывают сбои, но, как правило, на другом месте. Если оба сбойнут одинаково, тогда ой. Для этого мне и нужно ловить квадраты, чтобы знать, не нужна ли третья, четвёртая и т. д. последовательность, пока всё, наконец, не соберётся без помех.