В тот момент пока блок крутится, мышь попадает ВНЕ его области.
Тут же начинается вращение обратно, так как блок думает, что мышь убрали.
И во время обратного вращения мышь опять попадает на блок, заставляя блок опять менять анимацию.
Решается еще одним блоком, я сделал .wrapper, при наведении на который работает магия.
https://jsfiddle.net/41g4yn68/4/