Это всё мифы и легенды, что для геймдева нужны невероятные знания математики и линейной алгебры. Только если не пишешь авиасимулятор, симуляцию гидроаэродинамики, частиц или что-то подобное.
Для начала хватит простейших преобразований матриц и операций с векторами, кватернионами. Это покроет процентов 80, необходимых для изучения 3d графики.
Возьми любой современный курс по графике, там обычно даются базовые материалы для необходимой теории.
Тот же курс по OpenGL от Джоуи де Фриса learnopengl.com можно взять. Отличный курс. У него есть адаптации под различные языки программирования.
На его основе ещё есть курсы по Vulkan и, возможно, DirectX.
И от математической базы там зависит ну от силы процентов 5. Только если не собираешься прям исследованиями заниматься, пилить свои гениальные алгоритмы. 99% уже написано топовыми математиками, достаточно взять и использовать у себя в проекте, если позволяет лицензия. Не бездумно, конечно, базовое понимание работы алгоритма должно быть, само собой.
Геймдев -- скорее про архитектуру ПО и паттерны проектирования, про взаимодействие, про оптимизацию, расположение данных в памяти, понимание, как эти данные по железу гоняются, как их эффективнее прочитать или записать. Математику красивых пост-процессингов за нас написали профессора из исследовательских центров NVidia, AMD, Intel, и т.п.
