Если не менять логику, то вам придётся изменить настройки Input:
Edit->Project Settings->Input->Axes->Horizontal -> Увеличить Gravity - как быстро устанавливается равновесное значение при отжатии кнопки (в данном случае как быстро мы получим 0 после отжатия).
PS ну и для Vertical тоже, если нужно
