Если вы хотите использовать математику для создания/редактирования движков
вам стоит посмотреть эту книгу "Джейсон Грегори: Игровой движок. Программирование и внутреннее устройство"
Тут вам однозначно нужно нечто фундаментальное. И раз у вас так хорошо шла высшая математика, можно попробывать присмотреться к трудам Дональда Кнута. Если нужно попроще, то тут подойдет "Структура и интерпретация компьютерных программ".