Задать вопрос
Dejurin
@Dejurin
Software engineer
wget

Как просканировать сайт wget на наличие внешних ссылок?

Есть необходимость просканировать около 1000 страниц на наличие внешних ссылок на странице, куда копать и подойдет ли для этого wget ?
  • Вопрос задан
  • 152 просмотра
Комментировать
Подписаться 1 Оценить Комментировать
Пригласить эксперта
Ответы на вопрос 1
dimonchik2013
@dimonchik2013
non progredi est regredi
вообще гляньте вот это
home.snafu.de/tilman/xenulink.html

что касаестя wget - настройте зерклирование, выкачку только ХТМЛ страниц и возможность ходьбы по внешним ссылкам - тогда на локальном увидите, какие папки-домены он создаст

это - лучшая дока по dutn dbserv.pnpi.spb.ru/~shevel/Book/node103.html
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
Вакансии с Хабр Карьеры
Backend Engineer (Rust, NodeJS)
REES46
До 125 000 ₽
Team Lead — Корпоративный мессенджер
Small • Алматы
от 3 500 до 4 500 $
PHP и Node.js разработчик
TripShock Adventures
от 1 000 до 2 500 $
Ещё вакансии