Основы программирования: логика, математика, алгоритмы и ООП. Вот по этим темам и ищите книги. Принципиальных отличий в реализации игровой механики от любой другой нет. Везде всё делается одинаково.
Например, Логика - Виноградов, Кузьмин, Москва, 1954г.
Математика - стандартная школьная, геометрия, тригонометри. И немного высшей математики типа кватернионов, теории игр, теории вероятностей и прочее в специфических случаях типа 3D, всяких случайностей и прочее.
Алгоритмы и ООП - стандартные популярные книги (
например) плюс регулярная практика.
Например: Как реализовать различные состояния персонажа (атака, защита, уклонение, блокировка, специальные способности)? Как переключаться между состояниями в зависимости от событий?
Список констант плюс переменная. При событии - меняем значение переменной на требуемую константу. Это всё элементарные вещи.
ИИ противников.( чтоб поведение было сложным и интересным)
Cобытие -> условие -> действие. Всё стандартно.