Как проверить сайт на битые ссылки?

Question

[tursumbekov]

Добрый день.

Есть сайт. Его нужно проверить на битые ссылки. Проверял при помощи сервисов и Xenu. Все видят только главную. Исходников нет, порылся в коде страницы и сделал вывод, что он написан на Java(могу ошибаться), думаю проблема в этом. Как можно автоматизировать поиск битых ссылок на этом сайте?

P. S. Как получу доступ к сайту попробую проанализировать через Google Webmasters.

Comments

[tursumbekov]

Александр А: Меня смутило всё, начиная с отсутствия тегов до встраивания стилей в теги, а вот про ещё один html можно по-подробнее?

[tursumbekov]

тегов H

Answer 1

[ummahusla]

Google Webmasters в помощь.

Answer 2

[Avrong]

1) Зайти на нужную вам страницу
2) С помощью регулярок или чего либо другого выделить все href
3) Перейти по всем ссылкам и если код ответа не является 200, то записать эту ссылку в нерабочие

Comments

[VovanZ]

Взять питонячий фреймворк Scrapy, который сделает всё за вас =)

[tursumbekov]

Спасибо, но это нужно будет на каждую страницу заходить, а мне нужна автоматизация. Python изучать ради этих целей нет времени)

[Avrong]

VovanZ: либо Grab :)

Answer 3

[archelon]

netpeak-spider

Comments

[tursumbekov]

Так же как и все программы такого типа не может просканировать этот сайт полностью.

[archelon]

конкретно эта программа работает обычно без нареканий, но с этим сайтом не справилась. думаю, проблема в самом сайте. роботы вообще не видят внутренних ссылок.

[archelon]

но гугл как-то проиндексировал 219 страниц, значит, google.com/webmasters должен помочь

[tursumbekov]

archelon: Да, проблема в сайте, остаётся ждать доступ к сайту, чтобы подключить к Google Webmasters.

Answer 4

[Kovalsky]

Вот это содом!

Если глянуть на http ответ от nu.edu.kz, сразу увидите это:

/**
 * This is the loopback script to process the url before the real page loads. It introduces
 * a separate round trip. During this first roundtrip, we currently do two things: 
 * - check the url hash portion, this is for the PPR Navigation. 
 * - do the new window detection
 * the above two are both controled by parameters in web.xml

Из этого как минимум ясно что фактически происходит редирект (один или несколько), "real page loads" только потом. Ну, и вот, вполне возможно что такое происходит только для браузера, видимо не очень стандартный редирект. Роботы в него утыкаются носом и ничего больше не видят.

Я понимаю, это не похоже не ответ, но я ща попробую разобраться и что-нибудь придумать)

Comments

[Kovalsky]

Даже PHP более дружелюбен, чем Oracle ADF)

[Kovalsky]

А вообще и правда попробуйте гугловые инструменты, в интернетах пишут, что гугл без проблем ходит по js редиректам.

Обязательно отпишитесь получилось ли)

[tursumbekov]

Никита Полевой: Спасибо, попробую, отпишусь о результатах

Answer 5

[Илья Белобородов]

Можно запилить робота, который будет ходить по ссылкам и получать ответ от сервера (200, 404, 500 и тд), если ответ 200 - то ссылка не битая.

Но вам такой вариант скорее всего не подойдет

Answer 6

[Владимир]

найпростіший варіант це
1) підняти локальний проксі
2) знайти адекватну програму сайто-качалку в якої можна задати проксі (колись користувався teleport pro)

проксі треба для того щоб трекати статистику звернень а сайто-качалка для того щоб замість вас зайти на всі доступні урлки

Comments

[Ivanq]

Перевод vkushni:

Наbпростейший вариант:
1) поднять локальный прокси
2) скачать адекватную программу сайто-качалку в которой можно задать прокси (например teleport pro)

Прокси нужен для того, чтобы трекерить ссылки, а сайто-качалка для того, чтобы зайти на все доступные url.

Answer 7

[Dmitry Pavlov]

Если быстро вручную - www.brokenlinkcheck.com
Подобных сервисов достаточно.

Comments

[tursumbekov]

Этот сервис я пробовал, он тоже не справляется с этим сайтом.

Answer 8

[kolya-kuznetsov-96]

Seo-специалисты еще рекомендуют программу Xenu

Answer 9

[Alexnetroet]

Может что-то не так делаете, вот более подробная статья https://k-gayduk.ru/blog/tech/bitye-ssylki.html , мне всегда помогало.