Здравствуйте. Появилась задача из списка вида (всего около 5000):
mysite1.ru/upload.zip
mysite2.ru/dle.gzip
Получить список архивов доступных для скачивания - по 200 ответу или нет без разницы.
Что бы на выходе был txt файл со ссылками доступными для скачивания.
Желательно многопоточное решение. Что бы периодически запускать с севера.
Но проблема в том что часть моих ссылок с http и https и www и без www и следовательно редирект.
Бывают ложные ответы не доступности файла - хотя он доступен.
То что я нашла на curl. Но он не пишет в файл и я не могу запустить его многопоточно.
#!/bin/bash
while read LINE; do
curl -o /dev/null --silent --head --write-out "%{http_code} $LINE\n" "$LINE"
done < url-list.txt
Благодарю за ответы!
