Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Sushkov
@Sushkov
">alert("yohoho")
Python
Как узнать структуру сайта?
Как узнать структуру сайта? Как это делают те же самые сканеры.
Вопрос задан
более трёх лет назад
855 просмотров
Комментировать
Подписаться
2
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Решение
пользователя
Duha666
К ответам
на вопрос
(1)
Duha666
@Duha666
Ходят по всем видимым ссылкам от главной, и можно еще чекать стандартные пути(например /static).
Ответ написан
более трёх лет назад
4
комментария
Нравится
1
4
комментария
Facebook
Вконтакте
Twitter
Sushkov
@Sushkov
Автор вопроса
Где они берут эти самые ссылки? Или путем парсинга страницы начиная с главной лезут по всему сайту повторяя алгоритм?
Написано
более трёх лет назад
Duha666
@Duha666
Sushkov
: Именно так. Парсят
Написано
более трёх лет назад
Sushkov
@Sushkov
Автор вопроса
Duha666
: регулярками или есть что-то для таких целей?
Написано
более трёх лет назад
Duha666
@Duha666
HTML-парсеры. Регулярки не для таких задач. Если вас интересует готовое решение на Python, то смотрите web-crawler'ы. Например Scrapy
Написано
более трёх лет назад
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама