Как скачать много изображений?

Question

[Twist]

Есть файл содержащий очень много ссылок на изображения. Изображения не большого размера, НО их очень много.
У меня есть два варианта
1. добавить весь этот список в базу данных, а потом передать это rabbitmq и пусть качает себе на здоровье.
2. грубый и не красивый, а именно увеличить время выполнения скрипта.
Как их скачать быстро и безболезненно? Как бы это сделали вы?

Answer 1

[Антон Шаманов]

Если для домашнего использования, то второй вариант - какой смысл тратить время если это никто не оценит? Если же говорить о работе, то в большинстве случаев используется js скрипт циклично отправляющий ajax запросы в php загрузчик файлов пока данные не будут загружены полностью.

Comments

[Twist]

там все немного сложнее, парсится xml внутри которого ссылки, так что ваш вариант не подойдет, хотя он мне понравился очень

[Анатлий Петров]

аякс ненадежно имхо. для домашнего варианта можно и баш и отдельным скриптом вне веб сервера

[Анатлий Петров]

Юрий Левин: распарси хмл отдельно и приведи к виду одна ссылка на строчку, а там будет уже просто адаптировать под любой удобный вариант

[Twist]

Анатлий Петров: я уже придумал как использовать, но интереснее почему "аякс ненадежно имхо" ?

[Анатлий Петров]

Юрий Левин: а если браузер упадет? интернет отрубит у тебя? Еще надо сохранять и получать прогресс выполнения. Надо отслеживать скачалась ли картинка и опять же записывать что сохранилась. Аякс подходит например на шаред хостинге где доступа к консоли в том или ином виде нет, иначе проще написать что то одно и в одном месте. В принципе делай как удобно будет. Моё дело предложить.

[Антон Шаманов]

Юрий Левин: почему не подойдет? что мешает вначале распарсить xml в удобной форме и потом уже использовать данный список?

[Антон Шаманов]

Анатлий Петров: не вижу никаких проблем: php скрипт возвращает ответ, возвращайте сообщения об ошибке и информируйте пользователя. Если интернет отвалиться, то вообще никакой вариант работать не будет)

[Twist]

Anton: я уже так и реализовал, возвращаю массив и потом его пробегаю :)

Answer 2

[Анатлий Петров]

я бы это сделал как здесь чутка доработав или вообще на perl

Answer 3

[Виталий]

скрипт на C# минут за 5 написал бы.

Comments

[Виталий]

p.s. мне не влом, если будет образец списка могу и сделать

[Виталий]

а в плане как качать быстро и безболезненно вопрос не понятен, безболезненно кому? Не думаю что от скачивания кому ни будь кроме копирастов станет больно, но их не жалко вроде:)
А так реализовать загрузку асинхронно в многопоточном режиме идеальный вариант.

[Twist]

Виталий: на C# реализовать асинхронно не беда, но в конкретном проекте требовалось решить задачу с php так что использовал вариант Антона. Но за помощь спасибо