@tursumbekov
PHP, CMS, frontend

Как проверить сайт на битые ссылки?

Добрый день.

Есть сайт. Его нужно проверить на битые ссылки. Проверял при помощи сервисов и Xenu. Все видят только главную. Исходников нет, порылся в коде страницы и сделал вывод, что он написан на Java(могу ошибаться), думаю проблема в этом. Как можно автоматизировать поиск битых ссылок на этом сайте?

P. S. Как получу доступ к сайту попробую проанализировать через Google Webmasters.
  • Вопрос задан
  • 4376 просмотров
Пригласить эксперта
Ответы на вопрос 9
Antonoff
@Antonoff
Разработчик
Google Webmasters в помощь.
Ответ написан
Комментировать
Avrong
@Avrong
1) Зайти на нужную вам страницу
2) С помощью регулярок или чего либо другого выделить все href
3) Перейти по всем ссылкам и если код ответа не является 200, то записать эту ссылку в нерабочие
Ответ написан
lazalu68
@lazalu68
Salmon
Вот это содом!

Если глянуть на http ответ от nu.edu.kz, сразу увидите это:

/**
 * This is the loopback script to process the url before the real page loads. It introduces
 * a separate round trip. During this first roundtrip, we currently do two things: 
 * - check the url hash portion, this is for the PPR Navigation. 
 * - do the new window detection
 * the above two are both controled by parameters in web.xml


Из этого как минимум ясно что фактически происходит редирект (один или несколько), "real page loads" только потом. Ну, и вот, вполне возможно что такое происходит только для браузера, видимо не очень стандартный редирект. Роботы в него утыкаются носом и ничего больше не видят.

Я понимаю, это не похоже не ответ, но я ща попробую разобраться и что-нибудь придумать)
Ответ написан
Можно запилить робота, который будет ходить по ссылкам и получать ответ от сервера (200, 404, 500 и тд), если ответ 200 - то ссылка не битая.

Но вам такой вариант скорее всего не подойдет
Ответ написан
Комментировать
@vkushni
Java SSE
найпростіший варіант це
1) підняти локальний проксі
2) знайти адекватну програму сайто-качалку в якої можна задати проксі (колись користувався teleport pro)

проксі треба для того щоб трекати статистику звернень а сайто-качалка для того щоб замість вас зайти на всі доступні урлки
Ответ написан
dmitry_pavlov
@dmitry_pavlov
World-class .NET freelance contractor (remotely)
Если быстро вручную - www.brokenlinkcheck.com
Подобных сервисов достаточно.
Ответ написан
@kolya-kuznetsov-96
Seo-специалисты еще рекомендуют программу Xenu
Ответ написан
Комментировать
@Alexnetroet
Может что-то не так делаете, вот более подробная статья https://k-gayduk.ru/blog/tech/bitye-ssylki.html , мне всегда помогало.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы