Я неожиданно нашел ответ. Решение заключается в том что бы сохранить параметры аниматора после его отключения, я не понимаю почему оно работает, но работает. Если кто-то понимает как это устроено буду рад услышать !
private void Start()
{
_playerAnimator.keepAnimatorControllerStateOnDisable = true;
}