Возможно, центр вашего объекта (pivot) находится где-то в другом месте.
Cверху выберите pivot.
Синей линией я показал, где находится Pivot. Он должен быть в центре (по горизонтали) картинки.
Поворот происходит относительно этого pivot-а.
Ещё можете поворот делать не через localScale, а через поворот относительно оси Y. Так, даже будет логичнее