И что бы он так же продолжал своё движение а не просто повернул в сторону и двигался вперёд, нужно чтобы он двигался по тому направлению по которому повернул.
Очень даже всё просто. Создаёте переменную Vector3 swipeDirection. И при свайпе, к примеру влево, вы записываете swipeDirection = вектор по которому персонаж будет лететь ровно влево.
После чего в каждом кадре будет использоваться этот вектор умноженный на скорость. При следующем свайпе эта переменная просто перезаписывается. Ничего сложного