Думаю, проблема в силе трения и том, что ты толкаешь персонажа вниз самостоятельно. Попробуй повесить на персонажа компонент rigidbody и использовать гравитацию. Или уменьши силу трения с помощью физического материала )
Для лучшего трекинга земли под ногами рекомендую использовать Physics.OverlapSphere
