У персонажа в Rigidbody поле Mass если увеличить не помогает? Чтобы потяжелее был.
Видел совет ещё менять силу притяжения в настройках физики Edit\Project Settings, вкладка Physics поле Gravity. Если 2D игра то вкладка Physics 2D.
Еще посоветую поглядеть ролики на ютуб канале "Eccentric Games".
Там хороший цикл роликов про физику, разбираются какие-то проблемы.
Также есть ролики "ПОЧЕМУ ВСЕ ТРЯСЕТСЯ в UNITY ?" и "Эффект растяжения-сжатия в Unity", возможно тоже полезные идеи там будут.