Обратите внимание на событие onFling. Оно возвращает скорости движения velocityX и velocityY:
public boolean onFling(MotionEvent e1, MotionEvent e2, float velocityX, float velocityY) {
Toast.makeText(getApplicationContext(), "Fling Gesture", 100).show(); return true;
}
Ваш сценарий очень напоминает Swipe-To-Dismiss, я нашёл пару готовых примеров (сам не пробовал, но выглядит работоспособно):
SwipeDismissTouchListener Android 14+
NineOldAndroids port by Jake WhartonПохожий вопрос на SO: Swipe to delete for a custom... 
