Я советую начинать не с линейной алгебры, а с вычислительной геометрии.
Там те же матрицы 2×2 и 3×3. Как бонус — сможешь работать в 3D.
UPD1. Ну, например, что можно сделать просто в 2D.
• Находится ли точка внутри фигуры?
• Какой отрезок фигуры самый близкий к точке и на каком расстоянии?
• Художественно поискажать фигуру.
• Пересекаются ли отрезки и в какой точке?
• Выпуклая оболочка кучи точек.
• Круг, описанный вокруг кучи точек.
• Проекция точки на прямую или отрезок.
• Стоят три точки по часовой стрелке, против или на прямой.
• Является ли ломаная самопересекающейся?
• Диаграммы Вороного, триангуляции Делоне.
• Прямоугольник произвольной ориентации, описанный вокруг кучи точек.
• Круг, вписанный в выпуклый многоугольник.
• Является ли многоугольник звёздчатым, и если да — каково ядро?
• Простой движок с возможностями где-то между Wolf3D и Doom, но с портальным алгоритмом на манер Duke3D.