Чем проверить массово ссылки на ответы 200/301/302?

Question

[Камил]

Здравствуйте.
Подскажите инструмент, которым можно проверить сотни ссылок на ответы сервера
200 - 301 - 302 и так далее
Есть база ссылок (обычных сайтов) необходимо отфильтровать, но в базе очень много адресов, по одному не вариант.

Comments

[Kovalsky]

Xenu’s Link Sleuth

Answer 1

[Stalker_RED]

wget -nv --spider -i list.txt где в list.txt ссылки, по одной в строке.

более приближенный к боевому вариант, с подгрузкой кукис, лимитом скорости и паузами 0.3 секунды между запросами:

wget -nv --load-cookies cookies.txt --spider -i list.txt --limit-rate=20k -w 0.3

Comments

[Камил]

Подскажи еще, пожалуйста, как записать в файл? А то он сыпит в терминал просто.
Пытаюсь отправить типа > /root/logUrl.txt
Файл создает, но результат не пишет, продолжает сыпать в терминал

[Константин Цветков]

Камил, -o log-file.txt Документация: Logging and Input File Options.

Answer 2

[Владимир]

Вариантов много - зависит от ваших навыков,
в линуксе можно написать скрипт на баше который будет идти по списку ссылок в файле, на каждую стряоку форкать вызов утилиты curl и записывать ответ в файл, также пригодится ограничитель кол-ва одновременно запущенных процессов curl - тк как ссылок если много может закончится память.
примерно тоже самое я уверен можно написать на python или perl.
Под виндовс думаю тоже омжно взять какойто ЯП и реализовать схожий алгоритм.

Answer 3

[Maxim Kirshin]

SEO Frog Spider. Можешь онлайн сервисы использовать, напиши в гугле что-то вроде "mass bulk check response code"