Использовать HTTP_REFERER не вариант, это, как минимум не надёжно.
Вы можете при переходе из страницы с группой фото запоминать номер страницы с которой вы перешли.
Для этого можете использовать cookies, или добавить параметр в paginator' например grp_page_num (чтобы не потерять его при переходах).
Вообще я бы вам посоветовал несколько изменить подход.
Если у вас не стоит задача иметь отдельные страницы так, как вы описываете - тогда лучше не делать переход на страницу с всеми фото группу, а просто догружать фото при скроле страницы так, как это делают, например соц.сети. У них же ленты без paginator'а, они просто загружают новую порцию постов когда вы доскролили до конца. Как вариант можно сделать кнопку "еще" и загружать следующую порцию фото.
