Задать вопрос
Dejurin
@Dejurin
Software engineer
wget

Как просканировать сайт wget на наличие внешних ссылок?

Есть необходимость просканировать около 1000 страниц на наличие внешних ссылок на странице, куда копать и подойдет ли для этого wget ?
  • Вопрос задан
  • 155 просмотров
Комментировать
Подписаться 1 Оценить Комментировать
Помогут разобраться в теме Все курсы
  • Нетология
    Python-разработчик с нуля
    6 месяцев
    Далее
  • Skillfactory
    DevOps-инженер
    6 месяцев
    Далее
  • Яндекс Практикум
    Python-разработчик
    10 месяцев
    Далее
Пригласить эксперта
Ответы на вопрос 1
dimonchik2013
@dimonchik2013
non progredi est regredi
вообще гляньте вот это
home.snafu.de/tilman/xenulink.html

что касаестя wget - настройте зерклирование, выкачку только ХТМЛ страниц и возможность ходьбы по внешним ссылкам - тогда на локальном увидите, какие папки-домены он создаст

это - лучшая дока по dutn dbserv.pnpi.spb.ru/~shevel/Book/node103.html
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
Вакансии с Хабр Карьеры
SRE/DevOps инженер
Сбер • Москва
от 200 000 до 300 000 ₽
Linux администратор HPC стека
Сбер • Москва
от 200 000 до 400 000 ₽
Менеджер по качеству (эквайринг, терминалы, ККТ, банкоматы, АДМ)
ИТ-Холдинг Т1 • Санкт-Петербург
До 130 000 ₽
Ещё вакансии