PHP: как снизить нагрузку на сервер при выполнение тяжёлого скрипта?

Question

[MyQuestion]

Добрый день!

У меня есть скрипт, который перебирает и оптимизирует порядка 100тыс. изображений, но это просто роняет сервере в 504 на некоторое время. Есть ли хорошее решение для оптимизации таких тяжёлых скриптов? Например, снизить нагрузку на сервер, растянув время выполнения скрипта? Что-то вроде функции sleep() - будет ли это эффективным решением? Может посоветуете какие-то адекватные настройки сервера или на что стоит обратить внимание.

Что тут в принципе можно сделать? Впервые столкнулся с подобной ситуацией.

Comments

[smilingcheater]

У вас сервер одноядерный?
Как запускаете этот "скрипт"?
В общем - разделять работу на пачки какого-то разумного размера и обрабатывать их частями, с перерывами.

Answer 1

[Adamos]

Эту хренову тучу изображений незачем лопатить пыхом.
Свалил в папочку - и запускай скриптик кроном с выборкой первых, скажем, десяти и обработкой ( + сохранением в другую папку + удалением в этой) их тем же imagemagick, но в командной строке, без выжирания лишней памяти и занятия обработчиков.

Comments

[Stalker_RED]

А вот не факт, что imagick из командной строки сожрёт меньше.
Как-то мне надо было очень большие jpg порезать на тайлы. И обнаружилось, что скриптик из командной строки для каждого тайла инициализирует imagick, грузит огромный жипег, вырезает кусочек, и все заново.
А в пыхе один раз загрузил, потом сохраняешь кусочки. В итоге из пыха вышло на пару порядков быстрее (минуты против нескольких часов на каждую карту).

[Adamos]

Stalker_RED, а это точно imagick так делал? Или таки ваш скриптик?
convert -crop 100x100 picture.jpg tile.jpg - должен пошинковать картинку на тайлы 100х100 одной командой без перечитывания файла.

Answer 2

[humoured]

Лопатить миллион тысяч изображений можно чем угодно, хоть через php, хоть через богоподобный imgproxy и bash — в зависимости он поставленных задач. Просто запускай скрипт не из браузера а через консоль или Cron. При таком подходе нет ограничения на время выполнения скрипта, хотя и появляются требования к более аккуратному программированию по части утилизации ресурсов.

Answer 3

[sharpsss]

оптимизируй очередями по 10 например

Answer 4

[Stalker_RED]

Да, sleep немножко облегчит, но вообще маловато информации.

Для начала неплохо бы определить какого ресурса не хватает - памяти, процессора, может диск перегружен.
Если процессор, то посмотрите сколько у вас ядер, и почему ваш скрипт грузит их все.
Возможно сам оптимизирующий софт слишком ресурсоемкий, и существуют альтернативы полегче.
Возможно стоит разбить задачу на части и разбросать планировщиком на ночное время.

Answer 5

[Ипатьев]

ну если в лоб, то nice
и, действительно, непонятно при чем тут пхп.
что такого делает ваш скрипт, что не может сделать imagemagick?

Comments

[MyQuestion]

всё тоже самое, просто это модуль yii2 и его хотят запускать по клику из админки, ну и все изображения должны грузиться уже оптимизированным, при добавление из админки.