Если я правильно понял вы хотите конвертировать jpg в матрицу пикселей.
Самый простой способ конвертировать jpg в матрицу пикселей: https://stackoverflow.com/questions/26230911/openc...
С cv::Mat можно работать как с матрицей
Для самописного решения нужно будет потратить весьма не мало времени, чтобы декодировать jpg