OpenCV. Почему отдельные кадры из видео весят больше чем видео?

Question

[Викентий]

Что я делаю:
Беру видео, беру некоторые его кадры, из каждого из них вырезаю область
1. Сохраняю в новое видео
2. Сохраняю в памяти
Сохраненное видео весит ~80 килобайт, сохраненные в оперативной памяти области весят ~260 мегабайт.
Почему такая разница?
Хочу чтобы эти области были в оперативной памяти как изображения, чтобы их использовать, но в данный момент они как Numpy массив.

Код

for frame in objects_frame_position:
    video.set(cv2.CAP_PROP_POS_FRAMES, frame)
    ret, video_frame = video.read()
    if ret:
        object_frame_info = objects_frame_position[frame]
        position: Position = object_frame_info['Position']
        object_border = video_frame[position.y:position.y+position.height, position.x:position.x+position.width]
        objects_images[object_id].append(object_border)

Может можно как-то конвертировать их в изображения, чтобы они не занимали столько памяти?

Answer 1

[Сергей П]

Потому что кадры в массивах хранятся в несжатом виде, а исходный видео-ролик сжат кодеком.
Кодеки сейчас довольно сложные, у них много параметров сжатия и нетривиальные алгоритмы. Вы один и тот же ролик можете расжать и сжать по новой, а в результате получите совсем другой объём и даже немного отличающийся контент, ведь сжатие происходит обычно с потерей качества.

Answer 2

[Викентий]

Решил проблему, как и предположил, необходимо было конвертировать в изображения в оперативной памяти:

for frame in objects_frame_position:
        video.set(cv2.CAP_PROP_POS_FRAMES, frame)
        ret, video_frame = video.read()
        if ret:
            object_frame_info = objects_frame_position[frame]
            position: Position = object_frame_info['Position']
            object_border = video_frame[position.y:position.y +
                                        position.height, position.x:position.x+position.width]
            _, buffer = cv2.imencode('.jpg', object_border)
            io_buffer = io.BytesIO(buffer)
            objects_images[object_id].append(io_buffer)

Использовал этот ответ

Comments

[mayton2019]

Непонятно что ты и где решил. Для цифровой обработки изображений тебе все равно нужна матрица вещественных чисел. Все джпеги и мпеги за мгновение до обработки должны быть представлены в математическом матричном виде.

[Викентий]

mayton2019, как это все декодировать есть в ответе на который я сослался. Моя задача стояла закодировать в виде фотографий в памяти, а не в виде массива, с чем я справился

[mayton2019]

Викентий, я возможно стану очень душный и нудный но сильно сжимать нельзя. Иначе твоя система работающая с видео будет терять ценную информацию. И это никак не компенсируется никаким сжатием. А если тебе не хватает памяти - то пересмотри постановку задачи. Для баз данных тоже никогда не хватало памяти но как-то они работают. И сама постановка - закодировать в памяти - безсмысленна. Если я буду тебя спрашивать - закодировать что-бы что? Ты запутаешся. И окажется что и кодировать тебе вообще не надо.

[Викентий]

mayton2019, благодарю, но нет, моя система лишь вырывает из видео кадры, с которыми будут работать люди, не ПО.
Я кодирую в память, чтобы не забивать диск 16*~30*~300 фотками, и чтобы не забивать память чистыми данными об изображении