Самый просто вариант, это через LIMIT, к примеру, мы находимся на 5, как Вы описали ранее, кол-во записей на страницу - 20, следовательно, чтобы вывести предыдущие пропишем LIMIT 100. (Если по формуле, то page * limit) и про сортировку вывода не забудьте (ORDER BY)