Сергей

При прочих равных, самая простая математика - для самых простых игр.
То есть, для текстовой rpg вам понадобятся азы дискретной алгебры (школьный курс, не более).
Для статичной 2D - освежите в памяти декартову систему координат и площади прямоугольников.
А вот для 2D-экшена вам уже нужна тригонометрия, хотя бы теорема Пифагора.
Дерзайте!

Если игра простенькая, то можно хранить так в виде JS-массива, где перечислены:
1 - все объекты,
2 - их тип (враг, холмик, сундучок...),
3- их характеристики (куда враг смотрит, сколько жизней в сундучке),
4- их координаты (где они находятся)
Разумеется, ещё нужна сама карта уровня, к которой будут применяться данные из этого массива.

Вот замечательная статья на Хабре, посвященная разработке игр для новичков. Если вкратце, советуют начать с крестиков-ноликов, не замахиваясь на 3D-JMMORPG.