Как минимум школьный курс геометрии необходим. +векторная алгебра. +тригонометрия не помешает.
Для баланса - комбинаторика.
Для графония - как минимум еще матрицы и преобразования над ними.
Это так, поверхностно.
Для прям свободной еще пригодится все околоматематическое, что с алгоритмами, булевой алгеброй и логикой связано. Типа там факториалы в сложности алгоритмов, например.