Оптимизация загрузки изображений по url

Question

[TrueDrago]

Столкнулся со следующей проблемой, хотелось бы послушать как это реализовано в схожих проектах:

Имеется некий сайт объявлений, который по крону загружает XML с объявлениями, которые в т.ч. содержат ссылки на картинки. Эти картинки нужно отобразить в определенных форматах на своём сайте.

Соответственно сейчас я реализовал работу с картинками следующим образом — они загружаются с помощью copy в цикле, а потом прогревается кеш с превьюшками. Но на загрузку 1 картинки уходит около 0.7 секунд, что при большом кол-ве запросов не очень хорошо отражается на времени выполнения скрипта. В масщтабах объявлений получается где-то 7 минут на 100 записей, что есть весьма много.
Как наиболее эффективно оптимизировать процесс?

Пока смотрю в сторону многопоточного curl, но хотел бы узнать какие подводные камни могут у этого решения быть или какие есть альтернативные более эффективные решения?

Comments

[truekenny]

1 картинка — 0.7 секунд
100 — 70 секунд (~1 минута)

У вас 6 минут (~80% времени) на что то другое уходят.

[TrueDrago]

Просто картинок на 1 запись не одна, а в среднем штук 6

Answer 1

[Алексей Акулович]

Одним потоком через curl_multi_init можно хоть несколько сотен картинок скачивать.

Answer 2

[Сергей Протько]

Распаралеливание запросов на скачку должно помочь. Подводные камни — смотря какие картинки… В теории могу предположить только что может упасть изза нехватки памяти, хотя не думаю что 5-10 картинок смогут обвалить скрипт. Придется помониторить утечки памяти и т.д.

Answer 3

[edogs]

на загрузку 1 картинки уходит около 0.7 секунд

На что уходят эти 0.7 секунд? Установка соединения, днс резолвинг, скачка, что-то еще?

copy, если это в прямом смысле copy обычное по http — худший вариант. На днс резолвинг, например, в ряде случаев может уходить 0.5 секунды, а он будет происходить каждый раз при copy с хорошей вероятностью.
Делайте curl, все скачки в одной сессии и включайте кэш днс в опциях курла хороший по времени. Уже одно это может на порядок улучшить результат.

php-шный мультикурл вещь пока несовершенная:( Мы бы запускали что-нибудь шелловское через exec, тот же wget например в несколько потоков или что-то мультипоточное изначально.

Answer 4

[KEKSOV]

Для организации параллельной загрузки и обработки данных я использую pcntl_fork, главное контролируйте число одновременных воркеров, а то систему уложите. И, как сказал выше edogs

Делайте curl, все скачки в одной сессии и включайте кэш днс в опциях курла хороший по времени. Уже одно это может на порядок улучшить результат.

Answer 5

[stnw]

Например превьюшки необязательно сразу делать. Может они никогда не понадобятся. Я в проекте использовал LiipImagineBundle, который генерирует превью только в непосредственный момент обращения к ней. Или можно просто позже другой командой проходить и генерировать их.
Но тут скорее правильнее подебажить ваш скрипт и понять где именно узкое место находится и его уже оптимизировать.

Comments

[TrueDrago]

Узкое место непосредственно в загрузке картинок со стороннего сервера.
Я как раз LiipImagineBundle и использую, но мне не понравилась скорость отдачи картинок на страницах типа поиска, где очень много превьюшек надо разом сгенерировать.

[Сергей Протько]

Несовсем так. Там генерация превьюшек идет из твиговского экстеншена. тобиш как только рендрится шаблон — если картинки таковой еще нету в кэше — он ее сгенерит. А у автора проблемы непосредственно со скачкой картинок.

[stnw]

Т.е. максимальное время уходит на команду copy? Можете прислать код в личку или сюда через pastebin?

[Сергей Протько]

узкое место — соpy по HTTP. То же самое что и file_get_contents. Нужно время что бы создать соединение, получить тело ответа, записать…

[TrueDrago]

Ссылка на кусок кода

Как уже говорил, copy 1 файла занимает 0.7с, генерация превьюшек 0.1
На больших объемах из-за последовательности операций получается долго.

Answer 6

[Павел Волынцев]

Посмотри habrahabr.ru/qa/44278/#answer_171184

Answer 7

[Николай Васильчук]

Самое очевидное:
1. Curl'ом загружайте картинки, пока они не загружены, на их местах на сайте показывайте заглушки.
2. Ресайз картинок делайте при отдаче картинки (при первом просмотре), а не при загрузке. Так умеет nginx, ну или можно на php imagemagick дергать.

Comments

[TrueDrago]

1. Сейчас если картинки еще не загрузились, то будет только 1 заглушка. Ждать просто долго не хочется, поэтому есть желание распараллелить
2. Ресайз при отдаче долгий на страницах где много картинок — а предгенерация ночью ничего не стоит