Сейчас понял, что это происходит в момент изменения размера и центра коллайдера персонажа. При прыжке он уменьшается, чтобы ноги не задевали за препятствия, и когда персонаж в прыжке над углом препятствия, включается isground, коллайдер резко принимает обычный размер и отбивается об угол, тем самым дополнительно толкая персонажа. Если отключить такую функцию, все норм. Пытался сделать не через булы, а плавное изменение коллайдера через curves GetFloat аниматора, но он почему-то делает коллайдер равным нулю, хотя все правильно настроено.