Задать вопрос
Dejurin
@Dejurin
Software engineer
wget

Как просканировать сайт wget на наличие внешних ссылок?

Есть необходимость просканировать около 1000 страниц на наличие внешних ссылок на странице, куда копать и подойдет ли для этого wget ?
  • Вопрос задан
  • 149 просмотров
Комментировать
Подписаться 1 Оценить Комментировать
Пригласить эксперта
Ответы на вопрос 1
dimonchik2013
@dimonchik2013
non progredi est regredi
вообще гляньте вот это
home.snafu.de/tilman/xenulink.html

что касаестя wget - настройте зерклирование, выкачку только ХТМЛ страниц и возможность ходьбы по внешним ссылкам - тогда на локальном увидите, какие папки-домены он создаст

это - лучшая дока по dutn dbserv.pnpi.spb.ru/~shevel/Book/node103.html
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
Вакансии с Хабр Карьеры
React Native developer (+Node.js)
CTRL+ • Москва
от 250 000 до 320 000 ₽
Embedded Software Engineer
CTRL+ • Москва
от 200 000 до 300 000 ₽
Senior backend developer (Node.js)
CTRL+ • Белград
от 250 000 до 320 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Плагин для Chrome для автоматизации действий в МойСклад
29 нояб. 2024, в 00:30
2000 руб./за проект
Разработка фронта на VUE.JS
28 нояб. 2024, в 23:03
1500 руб./в час
Настройка целей для фиксации в Яндекс Метрике
28 нояб. 2024, в 21:25
5000 руб./за проект
Ещё заказы