Нагуглил в одной статье похожую формулу:
m ≅ K [R | t] X
Перемножаются три матрицы. Последняя (X) имеет размер (4, 1). Квадратные скобки формируют матрицу (1, 4) из вектора R (1, 3) и числа t, т.е. [r1 r2 r3 t]. Результат перемножений - матрица размера (1, 1), т.е. скаляр. Матрица K имеет размер (3, 3).