Свайп, это по сути что? — расстояние между начальной точкой касания и конечной.
Так же можем узнать направление свайпа, вы проходили это на уроках алгебры. Декартовы координаты. x и y.
Если конечная точка по Y стала меньше, чем предыдущая, то двигаем вниз. При том, надо дать для свайпов какую-то «слепую зону» или как это называется... в общем, трудновато будет игроку переместить палец по Y, не сдвигаясь по Х. Следовательно, надо абстрагировать себя от результатов, где сдвиг по X почти не менялся.
Уж извините, что не дал вам код, пишу с телефона, комп за 30км.