Вообщем есть одно решение, и оно совершенно неправильное, но логичное. OpenCV не имеет кода для Python, он полностью на C++, в python/src2/cv2.cpp есть конвертер, которые способен конвертировать много чего, в том числе и Mat, но поскольку чтобы его запустить отдельно нужно иметь хоть какой то опыт с плюсами(которого у меня нет).
Я решил видоизменить саму библиотеку и вставить в нее новые функции, чтобы импортировать сразу через cv2. Я нашел функцию imread внутри loadsave.cpp, добавил свою функцию, задекларировал рядом с imread, и все заработало, никаких проблем. Но опять же таки не рекомендую так делать, это грех.