Марк Никитин

Наверное нужно знать кроме теории вероятности, критерий Гурвица

Если нравиться изучать алгебру изучайте. И в вузе виш мат был намного легче для меня чем школьной курс алгебры

"Курс дифференциального и интегрального исчисления" (Фихтенгольц) 3 тома
"Курс математического анализа" (Кудрявцев) 3 тома
"Дискретная математика для программистов" (Новиков)
"Алгоритмы. Построение и анализ" (Томас Кормен, Чарльз Лейзерсон, Рональд Ривест, Клиффорд Штайн)
"Искусство программирования" (Дональд Э. Кнут) все 4 тома нужны, если хочется действительно изучить все.

Также я бы советовал изучить теорию вероятности и теорию информации)

Удачи!

Здесь нужно, как по мне использовать минимаксну функцию, а потом ее решить можно в математическом пакете matlab