Если использовать RecyclerView (а рекомендуется переходить на него с ListView, и это довольно просто), то есть отличная штука,
ItemTouchHelper.
ItemTouchHelper.SimpleCallback simpleItemTouchCallback = new ItemTouchHelper.SimpleCallback(0, ItemTouchHelper.LEFT | ItemTouchHelper.RIGHT) {
...
@Override
public void onSwiped(RecyclerView.ViewHolder viewHolder, int swipeDir) {
//Удалить свайпнутый элемент из списка и нотифицировать об этом ресайклер
}
};
ItemTouchHelper itemTouchHelper = new ItemTouchHelper(simpleItemTouchCallback);
...
itemTouchHelper.attachToRecyclerView(recyclerView);