Конечно можно.
Достаточно изучить математику трёхмерной графики - координаты, проекции... Хорошо понимать и разбираться в вычислительной геометрии - пересечение линий, полигонов, уметь триангулировать как выпуклые, так и невыпуклые полигоны, понимать трассировку лучей и прочее...
Я в студенческие годы увлекался этим и вполне успешно. С нуля писал трёхмерные игры без каких-либо движков.
Это даёт огроменные скиллы как в математике, так и в программировании.
Ты на верном пути.
Почитай вот это:
"Ласло М. Вычислительная геометрия и компьютерная графика на С++"
"Иванов В.П., Батраков А.С. Трехмерная компьютерная графика".
Книги старые, но в этом есть их плюс - они не привязаны ни к ЯП, ни к библиотекам и фреймворка. Только основы, самая суть.
Написано очень простым и понятным языком.
Освоив это, тебе по зубам будут не только всякие там OpenGL, DirectX, Vulkan, но даже сам сможешь написать свою библиотеку.
Я на основе этих книг написал крутые трёхмерные приложения - как игры, так и рейтрейсер с CSG.
На хабре есть цикл статей как всё это сделать
https://habr.com/ru/post/248153/ 
Простой
