Как можно организовать параллельное скачивание изображений на php?

Question

[T4-100]

Задача такая:
В базу данных добавляются урлы с аватарами пользователей, необходимо по этим урлам скачать фотки на сервер. Но когда урлов, например больше 100, скрипт ломается и не может выкачать фотки. Как можно распараллелить такой процесс?

Answer 1

[Алексей]

http://www.php.net/manual/en/function.curl-multi-init.php

Answer 2

[Степан]

1. Почему скрипт ломается? Не успевает выкачивать за выделенное php-процессу время? Установите таймаут руками.
2. Запускайте из консоли. Если скрипт ломается по причине 1, распараллеливание не поможет.

Answer 3

[Кирилл Платонов]

Постройте очередь из задач на скачивание. Запускайте крон и берите по несколько задач скачивания для 1 процесса. И, надеюсь, вы используете cURL с ограничением timeout для данных задач.

Answer 4

[Алексей Сундуков]

100 скачиваний фигня ради которой думать о мультикурле нет смысла. Поэтому можно спокойно качать в обычном однопоточном режиме. И искать ошибку в скрипте (или механизме его запуска). Правильный вариант - запуск в минутных cron-ах.

Comments

[Алексей]

Один раз написанная обертка, спасает тысячу раз потом.

Answer 5

[T4-100]

Более подробно как реализовано на данный момент. каждые 3 минуты выполняется скрипт, который достает урлы одного пользователя (при тестрирование у одного пользователя их оказалось даже 3000) и циклом с помощью функции copy скачивает фотки. Максимальное время выполнения скрипта установлено 300 секунд. Этого времени не достаточно для скачивания такого количества фоток, но и увеличивать его нельзя, так как нужно максимально уменьшить время ожидания для пользователя