Копайте скорее в сторону mouseenter и mouseleave.
Но там тоже надо будет подумать,
у вас такая ситуация, что во время одной анимации может случиться много вызовов hover(), и соответственно, анимации выстраиваются в очередь.
Вам надо сочетать mouseenter/leave с убийством предыдущих анимаций, насколько я понимаю