Как получить все документы сайта, если у сайта нет карты?

Question

[Мурад Нурмагомедов]

Привет всем.
В учебных целях хочу написать скрипт, который будет обходить все документы сайта и проверять на счет внутренней оптимизации для serp.
Как поисковой робот находит все страницы?А если у сайта нет sitemap?

Comments

[Shodan Mind]

я использую пейджвейт

Answer 1

[Dimonchik]

scrapy
или
grablib

Comments

[Максим Кузнецов]

habrahabr.ru/post/139435 - Документация по Grab

Answer 2

[evnuh]

по ссылкам

Comments

[Мурад Нурмагомедов]

пропарсить начиная с главной все ссылки?

[Денис Инешин]

Мурад Нурмагомедов: логично. Игнорируйте только ссылки на другие домены.

[Saboteur]

Парсятся все ссылки, разбирается их вложенность, откидываются ссылки на внешние ресурсы, составляется собственная карта.