Введите очередь ссылок. Как только обработали страницу, добавьте в очередь все следующие ссылки. В цикле считывайте ссылки, загружайте и парсите их и так пока очередь не закончится. Никаких рекурсий тут не нужно.
Так же как дополнительный профит можно выбирать из очереди по несколько ссылок и использовать multi curl что бы скачивать документы в несколько потоков.
