Мало информации вы предоставили. Где хранятся остальные параметры (для фильтрации)? Почему вы их не указываете в урле?
Вообще вам нужен Paginator и/или UrlGenerator.
Если самопал какой-то, то надо передавать в твиг остальные параметры и добавлять их в урл:
<a href="?category_id={{category_id}}&page={{page}}">
Но это конечно попахивает уже