если вы все так делали то ничего удивительного..
общий принцип жеста "сваип"
- запомнить стартовую позицию (клика/касания тут неважно) )плюс возможно таймер и индекс пальца/тача если нужен мультитач
- считать смещение пока не отпустили
- в момент когда отпустили - посчитать смещение. (возможно проверить время, чтоб за сваип не считало если "вел в бок пять секунд")
- посчитанное смещение. в зависимости от на правления засчитать за нужный "сваип"
а не каждый кадр как у вас считать))
У тача есть фазы. старт. движение. отмена. конец...увидите в документации.
как собственно у мышки есть -НАЖАТА. ЗАЖАТА. ОТПУЩЕНА ))
https://docs.unity3d.com/ScriptReference/Touch-pha...
https://docs.unity3d.com/ScriptReference/Input.Get...
и тд