Quaternion neededRotation = transform.rotation;
neededRotation *= Quaternion.Euler(0, 90, 0); // this add a 90 degrees Y rotation
transform.rotation = Quaternion.Slerp(transform.rotation, neededRotation , Time.deltaTime * damping);
Очень по быстрому писал, поэтому просто общий смысл:
Запомнить текущий поворот.
Прибавить к нему нужный.
И постепенно как хочешь от текущего к нужному, хоть сразу, хоть через Lerp вращай.
Надеюсь поможет)