Saboteur

Так школьные учебники берите и вперед.
Не забывайте, что в математике также как и в программировании, важно не только читать, а и выполнять практические задачи - сидеть и решать. Чтобы у вас во время механической работы мозг создал нужные связи для понимания прочитанного.

Зависит от вашего желания.

Вы можете придумать формулы самостоятельно.

Вы можете взять готовую систему из какой-нибудь настольной игры, например взять свежую редакцию правил D&D и попробовать воплотить формулы из нее. Вдобавок, для D&D существуют различные генераторы монстров, что может помочь в балансировке. Но D&D может быть серьезным оверхедом.

Вы можете взять любую существующую игру и адаптировать ее формулы к своей.

Но балансировать вам все равно придется - если не формулы, так параметры, если не параметры так взаимодействие хайлевелов и лоулевелов.

И развитие игры (если оно подразумевается) всегда будет сводится к правке баланса. Я когда-то развивал MUD сервер. Около 30% работы - правка баланса.

Напишите автоматические тесты для всех вариантов боев, которые вам покажутся реалистичными и прогоняйте все ваши изменения через тесты.

Учите и то и другое.
Школьная программа достаточно простая, чтобы при помощи гугла и немного терпения, самостоятельно довести математику и физику до "отлично".
А программирование учится отдельно от школьной программы. Но зная математику и физику, вы возможно сможете придумать себе хорошие практические задачи, которые можно будет решить программированием.

При проходе по ветвям дерева, просот скипаются лишние шаги по определенным критериям, с ограниченной глубиной.

Например первый шаг - у нас выбор из двух вариантов.
Второй шаг - выбор из четырех вариантов
Третий шаг - выбор из восьми вариантов.

Можно перебрать все варианты, а можно пропускать некоторые из них

Например на втором шаге, можно посчитать что какой-то из вариантов на этом этапе дает меньше очков, и на третьем шаге вообще не рассматривать эту ветку.
Несмотря на то, что возможно на третьем шаге именно там был бы выигрыш.

Тут все зависит от того, как правильно расставишь стоимость промежуточных выборов, чтобы определять какие ветки пропускать, с какими продолжать работать.

Рост обычно идет так:

Сперва школьное образование, учебники, вступительные курсы - самая база.
Дальше обычно идут задачки, онлайн-курсы - для простенького закрепления и освоения.

Но нормальное становление идет так:
Просто пишешь программы. Много. Или много мелких или одну крупную. Решаешь конкретные задачи. Написал свой калькулятор. Написал себе программу, которая выводит расписание в html, написал сайт по сбору статистики матчей в дотку и работаешь с этой статистикой чтобы прикинуть порядок сборки или еще какие-то моменты. Написал свой скрипт бэкапа важных документов. Написал свой конвертер-ресайзер фоток.
Главное чтобы конечный результат выполнения программы был понятен лично тебе, и ты мог сам решать когда он тебя устраивает, а когда допилить.

Между написанием программ читаешь различные книжки, и уже тогда, когда у тебя есть ПРАКТИЧЕСКИЙ опыт написания программ, ты в книжках можешь наткнуться на более удачное решение проблемы, с которой ты сталкивался и уже писал велосипед.

Быстрых методов стать хорошим программистом, прочитав книжку - не выйдет, ибо без личного опыта долбления лбом об стену, тебе будет непонятно что именно ты прочитал и насколько это важно.

Правильный совет тебе уже дали в первом ответе - что нет какой-либо суперовой книжки. Все книжки - относительные, и не смогут сделать за 2 месяца из новичка олимпиадника. Поэтому просто пробуй программить и парралельно читать просто популярные книжки по тому языку, который ты сейчас используешь.

Система закрытая, вдобавок она в любой момент может быть изменена, если заподозряд шаманство.
В третьих этот вклад вообще никак и нигде и ничего не дает.
Я просто отвечаю на вопросы, задаю свои и не парюсь.

двоичные числа как-то странно.
есть двоичная система отсчета, в которой есть только две ЦИФРЫ. Следовательно число тебе нужно указать только двумя цифрами.
0 - десятичный 0
1 - десятичный 1
10 - десятичное 2
11 = десятичное 3
100 = десятичное 4
101 - десятичное 5
110 - десятичное 6
111 - десятичное 7

чтобы указать десятичное 8, тебе понадобится уже четыре цифры в двоичной системе, поэтому для трех разрядов максимум будет 111 (или десятичное 7)
максимальное число не ограничено, ты же можешь в десятичной системе сколько угодно цифр писать, так и в двоичной. Просто оно будет гораздо длиннее.