Судя по названию View, вы работаете в терминах компьютерной графики, когда векторы - строки и умножаются на матрицу слева: v1' = v1*View.
Берёте 4 линейно независимых вектора v1,v2,v3,v4, составляете из них матрицу M, в которой они записаны по строкам. Из соответствующих векторов v1',v2',v3',v4' строите матрицу M'. Тогда M' = M*View (это довольно очевидно - достаточно вспомнить, как перемножаются матрицы). Отсюда, View = Inverse(M)*M' (умножаем предыдущую формулу на Inverse(M) слева).
Если пар больше 4, и соответствия только приближённые, то ситуация сложнее - придётся звать на помощь метод наименьших квадратов. Если на матрицу View есть какие-то ограничения, то тоже придётся ещё повозиться (потому что матрица, вычисленная по первым 4 векторам, может быть, например, не совсем ортогональной).