Вот еще есть вариант, который, наверное, не во всех случаях поможет, но все же приведу его…
Если это применимо, делается html-страница, на которой ajax'ом отправляется запрос к php-скрипту на сервере. После возвращения успешного ответа делаем паузу и отправляем запрос еще раз. И так далее.
Я так делал составления Sitemap для своего сайта.
Требования: загрузка изначальной html-страницы в броузере
Ограничение: максимальное выполнение выполнение php-скрипта (в настройках сервера).
