запрос в гугле - "web crawler" или "паук для обхода по сайту"
самому написать тоже не трудно:
- Зашли на страницу
- Собрали все ссылки на странице и добавили их в список ссылок на обход
- Исключили лишние (создайте список ислючений: ссылки на внешние ресурсы, например, начинающиеся на htts://vk.com)
- Выполнили еще свои проверки
- Взяли первую ссылку из списка
- Перешли по ней и удалили из списка на обход
- Повторять список с п.2, пока не кончатся ссылки на обход
