Нужен ли Вам сервис для поиска битых ссылок на сайте?

Question

[makaroni4]

Недавно начал работать над проектом, который прямо таки кишит битыми ссылками. Хуже всего то, что если немного изменить роуты (проект на рельсах), то какие-то ссылки начинают работать, а какие-то обязательно отваливаются. Тестов нет и не очень понятно, как тестировать работоспособность ссылок хотя бы на главной странице.

Я написал небольшой скрипт, который парсит страницу на предмет всех ссылок и обходит их (асинхронно), генерируя на выходе список битых ссылок: Check pages status with em-synchrony crawler.

И тут меня осенило – а почему бы не сделать сервис, который после каждого деплоя сам бы проходил нужные страницы (либо все, либо из whitelist, например news/* проходит все новости) и присылал красивый email с нужной статистикой – сколько всего ссылок, какие битые, время отклика.

Нужен ли Вам такой сервис и что бы Вы еще хотели в нем видеть?

Answer 1

[Nicolette]

Еще есть www.brokenlinkcheck.com/

Comments

[makaroni4]

Это оно! Парсит в глубину 3000 ссылок, отличный сервис, уже пользуюсь, спасибо за ссылку!

Answer 2

[sledopit]

wget --spider -o wget.log -e robots=off --wait 1 -r -p http://site.url

Answer 3

[egorinsk]

Кстати, кому нужен такой сервис бесплатно и сейчас, советую посмотреть на утилиту skipfish от Google. Она не только ищет битые ссылки, но и ищет уязвимости, а также одновременно проводит стресс-тест приложения. Что может быть лучше?

Answer 4

[scorp13]

Xenu's Link Sleuth

Comments

[SunDrop]

Тоже ее хотел посоветовать.
Для SEOшника незаменимая тулзень.

[Михаил Лялин]

при некоторых недостатках — лучшее решение

Answer 5

[Rumickon]

Ещё у W3C есть Link Checker.

Answer 6

[ajaxtelamonid]

github.com/cballou/caterpillar

Answer 7

[MaxUp]

по Win использовал Xenu's Link Sleuth
на MacOs Integrity