Для начала нужно понять что конкретно собрались реализовать в проекте конкретно вы. Векторная алгебра и тригонометрия для банального перемещения. Матлогика для построения запросов и условий. Теория алгоритмов (конечный автомат) для поведения объектов. Теорвер и матстат в принципе для всего геймдизайна.
Сначала всё выучить, а потом прийти и всё сделать не получится. Выбор задачи и получение необходимых для решения задачи знаний идут последовательно. То есть задача требует знания определенных формул -> просмотр области -> выбор учебника, который считают хорошим для изучения этих формул. То есть не просто идти учебник Гмурмана читать (хотя лишним не будет), а сначала понять нужна тебе формула Бернулли или нет.
По моему мнению, в геймдеве у людей порой не хватает именно понимания как вообще определить что за событие произойдет и из какого состояния в какое объекты должны переходить. Так что для начал теорвер конечные автоматы.
Вот пример конечного автомата
https://gamedevelopment.tutsplus.com/tutorials/fin... 
