А что вас конкретно не устраивает? Персонажа и должно отталкивать от коллайдеров.
Но попробуйте пару вариантов:
1) Двигайте персонажа не через transform.Translate, а через rigidbody.AddForce. Подозреваю что проблема в этом: персонаж у вас проходит в коллайдер и его отталкивает из коллайдера назад.
2) Создайте для коллайдеров (в т.ч. игрока) физический материал и поставьте bounciness на 0, но судя по всему проблема решится 1ым вариантом.
