Задать вопрос
Lakika
@Lakika
Sicario

Чем проверить массово ссылки на ответы 200/301/302?

Здравствуйте.
Подскажите инструмент, которым можно проверить сотни ссылок на ответы сервера
200 - 301 - 302 и так далее
Есть база ссылок (обычных сайтов) необходимо отфильтровать, но в базе очень много адресов, по одному не вариант.
  • Вопрос задан
  • 201 просмотр
Подписаться 2 Простой 1 комментарий
Пригласить эксперта
Ответы на вопрос 3
Stalker_RED
@Stalker_RED
wget -nv --spider -i list.txt где в list.txt ссылки, по одной в строке.

более приближенный к боевому вариант, с подгрузкой кукис, лимитом скорости и паузами 0.3 секунды между запросами:
wget -nv --load-cookies cookies.txt --spider -i list.txt --limit-rate=20k -w 0.3
Ответ написан
@MechanID
Админ хостинг провайдера
Вариантов много - зависит от ваших навыков,
в линуксе можно написать скрипт на баше который будет идти по списку ссылок в файле, на каждую стряоку форкать вызов утилиты curl и записывать ответ в файл, также пригодится ограничитель кол-ва одновременно запущенных процессов curl - тк как ссылок если много может закончится память.
примерно тоже самое я уверен можно написать на python или perl.
Под виндовс думаю тоже омжно взять какойто ЯП и реализовать схожий алгоритм.
Ответ написан
Комментировать
meowto16
@meowto16
Делаю штуки
SEO Frog Spider. Можешь онлайн сервисы использовать, напиши в гугле что-то вроде "mass bulk check response code"
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы