barkalov

UPD: Я проверял как гугл индекскирует js - он делает это странно.
https://prerender.io/ как ответ на незаданный вопрос.

Curl + простой парсер для вытаскивания url'ов из html. И снова curl рекурсивно.

Либо phantom.js вместо curl, тогда будут считаться даже генерируемые скриптами ссылки, ajax'ы и прочая client-side динамика.