Неожиданно, когда я решил побаловаться перестановками переменных в своём коде, всё решилось.
В моём случае достаточно было поменять компоненты W и X местами, и после инвертировать X. (У меня оно вращалось в обратную сторону)
Тоесть в итоге я сделал (w, x, y, z) ->(x, -w, y, z)
Так же я гуглил чужой код и нашёл другую перестановку (w, x, y, z) ->(-y, x, z, w), но в моём случае она не дала нужных осей.
Некоторые перестановки полностью ломают движок и пространство начинает схлопываться, так что осторожнее