Как узнать структуру сайта?

Question

[Sushkov]

Как узнать структуру сайта? Как это делают те же самые сканеры.

Answer 1

[Duha666]

Ходят по всем видимым ссылкам от главной, и можно еще чекать стандартные пути(например /static).

Comments

[Sushkov]

Где они берут эти самые ссылки? Или путем парсинга страницы начиная с главной лезут по всему сайту повторяя алгоритм?

[Duha666]

Sushkov: Именно так. Парсят

[Sushkov]

Duha666: регулярками или есть что-то для таких целей?

[Duha666]

HTML-парсеры. Регулярки не для таких задач. Если вас интересует готовое решение на Python, то смотрите web-crawler'ы. Например Scrapy