Все сервисы Хабра
Сообщество IT-специалистов
Ответы на любые вопросы об IT
Профессиональное развитие в IT
Закрыть
Задать вопрос
Sushkov
@Sushkov
">alert("yohoho")
Python
Как узнать структуру сайта?
Как узнать структуру сайта? Как это делают те же самые сканеры.
Вопрос задан
более трёх лет назад
862 просмотра
Комментировать
Подписаться
2
Оценить
Комментировать
Facebook
Вконтакте
Twitter
Помогут разобраться в теме
Все курсы
Нетология
Fullstack-разработчик на Python + нейросети
20 месяцев
Далее
Skillfactory
Профессия Python-разработчик
9 месяцев
Далее
SF Education
Бэкенд-разработчик на Python
3 месяца
Далее
Решения вопроса
1
Duha666
@Duha666
Ходят по всем видимым ссылкам от главной, и можно еще чекать стандартные пути(например /static).
Ответ написан
более трёх лет назад
4
комментария
Нравится
1
4
комментария
Facebook
Вконтакте
Twitter
Sushkov
@Sushkov
Автор вопроса
Где они берут эти самые ссылки? Или путем парсинга страницы начиная с главной лезут по всему сайту повторяя алгоритм?
Написано
более трёх лет назад
Duha666
@Duha666
Sushkov
: Именно так. Парсят
Написано
более трёх лет назад
Sushkov
@Sushkov
Автор вопроса
Duha666
: регулярками или есть что-то для таких целей?
Написано
более трёх лет назад
Duha666
@Duha666
HTML-парсеры. Регулярки не для таких задач. Если вас интересует готовое решение на Python, то смотрите web-crawler'ы. Например Scrapy
Написано
более трёх лет назад
Пригласить эксперта
Ответы на вопрос
0
Ваш ответ на вопрос
Войдите, чтобы написать ответ
Войти через центр авторизации
Похожие вопросы
Python
Простой
Какой браузер с headless для python не распознаеться и не блокируеться google ai studio?
2 подписчика
31 окт.
209 просмотров
0
ответов
Python
Простой
Как сформировать изображение GS1 DataMatrix с функциональными знаками?
1 подписчик
31 окт.
107 просмотров
0
ответов
Python
+1 ещё
Простой
Почему callback_query_handler в telebot не работает?
1 подписчик
31 окт.
120 просмотров
3
ответа
Python
+1 ещё
Простой
Как исправить проблему с Docling?
1 подписчик
28 окт.
127 просмотров
0
ответов
Python
Простой
Что делать если turtle в python не отвечает?
1 подписчик
22 окт.
240 просмотров
2
ответа
Python
Простой
Не могу разобраться почему не работает код python?
1 подписчик
22 окт.
404 просмотра
1
ответ
Python
Простой
Какие есть удобные API для генерации картинок через AI?
3 подписчика
20 окт.
266 просмотров
1
ответ
Python
Простой
Дублирование логов в python logging?
2 подписчика
19 окт.
309 просмотров
1
ответ
Python
+1 ещё
Средний
Как сделать чтоб аккаунт писал при подписке на канал?
1 подписчик
16 окт.
189 просмотров
0
ответов
Python
+1 ещё
Простой
Какие есть простые легковесные LLM для локального использования?
3 подписчика
14 окт.
694 просмотра
3
ответа
Показать ещё
Загружается…
Вакансии с Хабр Карьеры
Backend developer (Python, FastAPI)
BCraft
До 4 000 $
Python Developer
Strikt
от 100 000 до 150 000 ₽
Backend Python Developer Middle/Senior
AppRoute
До 3 000 $
Минуточку внимания
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Войти через центр авторизации
Закрыть
Реклама