Как напрямую преобразовать AVFrame в QVideoFrame?

Question

[Pavel K]

Приветствую!
Получаю декодированный AVFrame в формате YUV420P, нужно его засунуть в QVideoFrame
Нашёл как сделать через sw_scale и QImage, но там идёт преобразование сначала в RGB32, что по-моему перебор, ведь QVideoFrame сам поддерживает формат YUV420P. Подскажите, пожалуйста, как сконвертировать?

Comments

[Сергей Литовко]

Нашли способ? Поделитесь?

[Евгений]

litovko, вам придется создать свой memory buffer на основе QAbstractVideoBuffer и уже далее передать его в конструктор QVideoFrame.

[Сергей Литовко]

Евгений, спасибо за отклик. Не приведет ли создание memory buffer к лишнему копированию данных? Можно ли передать данные из AVFrame непосредственно в буфер QVideoFrame, копированием данных с помощью memcpy?

[Евгений]

Интерфейс QAbstractVideoBuffer как раз в том числе предназначен для управления предварительно выделенными или даже статическими буферами. Однако, не стоит забывать, что, как правило, демультиплексинг, декодинг и непосредственно отрисовка кадров выполняются в разных потоках. Потому если вы все же решите передать AVFrame как есть в основной поток приложения, то вам предстоит организовать очень аккуратную работу с памятью, что не всегда бывает тривиально. Гораздо проще все же не избегать копирования. Как минимум по той причине, что формат пикселей AVFrame после декодирования в ряде случаев не будет в списке поддерживаемых QAbstractVideoSurface и вам все равно придется задействовать промежуточный буфер для sws_scale().
Обратите внимание на код ffplayer из состава проекта FFmpeg. Насколько я помню, там довольно активно перекладывают байтики из буфера в буфер. Это, конечно, довольно ресурсоемко, но не настолько, насколько может показаться на первый взгляд.
Просто рассчитайте необходимый объем буфера для вашего кадра с учетом заданного формата пикселей, создайте кадр следующим образом QVideoFrame(bytes, size, bytesPerLine, format) и используйте его буфер для дальнейших манипуляций.

[Сергей Литовко]

Да, согласен с Вами. Создаю предложенным Вами способом кадр. Ниже код.
QVideoFrame vframe(m_height*m_width*4,QSize(frame->width, frame->height),frame->width, QVideoFrame::Format_YUV420P);
vframe.map(QAbstractVideoBuffer::MapMode::ReadOnly);
for (int plane=0; plane<3; plane++){
uchar* b=vframe.bits(plane);
AVBufferRef* s=frame->buf[plane];
qDebug()<<"avplane:"<linesize[plane]<<"bufsize:"<size;
memcpy(b, s->data, s->size);
}
vframe.unmap();
_surface->present(vframe);
Т.е. копирую 3 матрицы (plane). Изображение есть, но есть проблемы с цветностью.
Настораживают размеры матриц и lenesize. Т.е. копировать надо как-то по другому.
avplane: 0 linesize: 1920 bufsize: 2092879
avplane: 1 linesize: 960 bufsize: 523279
avplane: 2 linesize: 960 bufsize: 523279

[Евгений]

Сергей Литовко, посмотрите на рабочий код здесь: https://github.com/iEvgeny/qmlav/blob/master/src/q...
1. Вы неверно считаете размер буфера кадра. И хотя в данном случае он вроде бы даже больше чем нужен, все равно такой подход использовать не стоит.
2. И хоть в данном случае и при данной реализации QVideoBuffer это не имеет значения, вы вообще-то пытаетесь писать в память фрейма, потому надо маппить его с флагом WriteOnly или ReadWrite.
3. Все у вас в порядке с linesize. Почитайте про цветовое пространство YUV420P. Другое дело я не очень понимаю где у вас инициализируется переменная size.
4. Вы уверены, что ваш QAbstractVideoSurface поддерживет пиксельный формат YUV420P? И хотя скорее всего этот формат поддерживается, но не мешает это проверить QAbstractVideoSurface::supportedPixelFormats(). Вероятно проблемы с цветностью отсюда.
5. Также вы выбрали неверное поле для доступа к буферу данных. В вашем распоряжении frame->data. Насколько я помню buf используется для внутренних нужд в целях подсчета ссылок.

P.S.
Сейчас посмотрел на код QVideoFrame и QAbstractVideoBuffer, прямое использование буффера AVFrame в силу особенностей текущей реализации QVideoFrame невозможно. FFmpeg использует выравнивание памяти для своих буферов данных, а QVideoFrame нет. При этом QVideoFrame самостоятельно рассчитывает размер строки (stride) для каждого канала (plane) на основании размера кадра и размера строки для первого канала и передать ему значения из AVFrame->linesize[] нет никакой возможности. А это значит, что смещения для AVframe->data[n] при нестандартных разрешениях кадра (к примеру отличных от 1920х1080 и т.д), могут быть рассчитаны неверно.