Интересная задачка. На факультете прикладной математики учитесь?
Общие соображения можно здесь посмотреть:
https://ocw.mit.edu/courses/mathematics/18-06sc-li...
(Projection in higher dimensions)
https://en.wikipedia.org/wiki/Projection_matrix
Попробуйте воспользоваться элементарным разложением квадратной матрицы на сумму симметричной и кососимметричной:
( 1, 3, 3) (1, 2, 1) ( 0, 1, 2)
( 1, 1, -1) = (2, 1, 2) + (-1, 0, -3)
(-1, 5, 1) (1, 2, 1) (-2, 3, 0)