Андре Ламот программирование игр для windows
lodev.org/cgtutor/raycasting.html
https://www.youtube.com/watch?v=kmECa4Gcckc&list=P...
Потом смотри статьи, курсы, туториалы, доки, книги, посвященные OpenGL, OpenAL, разработки многопоточных приложений, открытые репозитории движков на Github, вот здесь хороший по компьютерной графике
https://www.scratchapixel.com, про ai книга Ian Mullington, вообще, списку конца нет, движок - это программная система из ряда программных продуктов, поэтому либо строишь свой в основном из открытых библиотек, либо умираешь от старости не доделав до конца.