ну задача не очень тривиальная. Может быть не правильно описали? Движения пальца по экрану есть 2-х типов swipe и fling. Их можно отлавливать через GestureDetector. Еще можно сделать кастомный вьюпейджер который будет работать с фрагментами как стек и когда пустой переходить выше по стеку активити... В общем куча вариантов.