1) Берешь добротный учебник по OpenGL. Учишься работать с матрицами, векторами. Понимать как строится 3D изображение на компьютере. Что такое перспектива, матрица трансформации, текстура, свет и т. д. Пишешь hello-worldы типа: 2D квадрат, куб, вращающийся куб, текстурированный вращающийся куб с картой нормалей с источником света...
2) Читаешь статью на хабре об общем устройстве idTech3
3) Понять что такое BSP-дерево
4) Открываешь код от WinMain и начинаешь вдумчиво изучать как оно работает последовательно