Да, верно — второй поворот делать вокруг того вектора, который уже совмещен. Но чтобы совместить его первым поворотом, векторное произведение посчитать, в общем случае, всё же нужно. И использовать это векторное произведение как ось вращения для первого поворота. Разве что, по условиям задачи, OY' — это нормаль к плоскости XOX'?
P.S.: Случайно изменил обозначения по сравнению с теми, что были в вопросе. В вопросе — векторы OX' и OZ', а у меня — OX' и OY'.
Поворачиваем систему координат сперва так, чтобы совпал OX' с OX, при этом OY' переходит в, скажем, OY''. Потом повернутую систему поворачиваем второй раз (вокруг OX') чтобы OY'' совпал с OY. (При первом повороте ось вращения получим как векторное произведение OX' и OX, а угол поворота — в обоих случаях — через скалярное, формулу уже привели выше.) Оба поворота выразим кватернионами, и потом из их композиции и получим и ось, и угол.
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
P.S.: Случайно изменил обозначения по сравнению с теми, что были в вопросе. В вопросе — векторы OX' и OZ', а у меня — OX' и OY'.