Основа математики и ее приложений к программированию - теория множеств. То есть начинать надо с нее, хотя особо углубляться не обязательно - достаточно понимание концепций множества, функции, прямого произведения и несвязанной суммы. Для 3D, а так же для ML, полезно будет хорошо разобраться в линейной алгебре. Неплохо бы разобраться с теорией графов и познакомиться с общей алгеброй (группы, моноиды, кольца, поля). Если есть желание глубже копать в computer science, то стоит изучать логику, теорию категорий и переходить к теории типов.