Книжка так и называется: Дискретная математика для программистов, Хаггарти

Я бы не назвал математику в 13 лет математикой.
Много куда можно двигаться.
Полезно было бы позаниматься математическими олимпиадами и олимпиадами по программированию. Физика так же будет не лишней. Из олимпиад по программированию не плохо можно подучить алгоритмы.

Если из чего-то более конкретного могу посоветовать идти в сторону С++, C#, Java:
1. Изучайте ООП
2. Паттерны

Можно будет писать программки по серьезнее(освоить ту же самую Qt - для С++).
А там уже графика: WinAPI, OpenGL ну или что вам будет интересно.

Таненбаум - Архитектура компьютера

В компьютерной графике, и не только матрицы. Там в принципе много линейной алгебры и аналитической геометрии. Вот тут думаю будет исчерпывающе для вас.
Матрицы в принципе широко применимы, например с помощью них удобно решать системы линейных уравнений.