Во-первых, состояние клавиш меняется в Update, а ты их проверяешь в физике, которая может вызываться несколько раз за кадр, поэтому тут может быть и пятикратные прыжки.
Во-вторых, при движение вбок ты задаёшь скорость, коллайдер персонажа проникает в препятствие и физика его оттуда выталкивает, плюс ты ещё к этой силе добавляешь свою.