Готовые библиотеки имеешь в виду Direct 3D, OpenGL и Vulkan ?
Тогда тебе нужно писать расторизатор с афиновым а лучше перспективным тесктурированием, в принципе ничего сложного, в одно время писал замену OpenGL 1.2 что бы можно было элементарные игры играть ))
Если ты имеешь в виду принцип построения, тогда тебе нужно сначала поставить 3D редактор к примеру Blender посмотреть из чего и как делаются модели, после как появится понимание из чего состоит всё что ты видишь в играх сможешь нарисовать элементарный уровень )) использовать 2.5D либо 3D для хранения карт. Естественно всю геометрию придётся вспоминать... хотя бы элементарные аля произведения матриц, матриц и векторов и т.п.
Тут примеры на Delphi 7/10 которые я делал когда-то для своих сайтов в далёких 2005-2007 годах:
svsdval.hldns.ru/delphigfx.mirgames.ru_and_svsd.mi... 
