Сергей Соколов,
Кроме того при одновременной обработке нескольких больших изображений расход памяти может резко возрастать. Может стоит использовать очереди и обрабатывать даже на отдельной машине.
Сергей Соколов, лимит для PHP не стоит поднимать на этом этапе. Надо поэкспериментировать сначала с вызовом CLI imagemagick вместо GD, как посоветовал Олег Фролов. Таким образом лимит PHP не будет исчерпан.
Hint, надо дополнительно вести мониторинг потребления памяти и CPU в моменты нагрузки. Возможно, потребление памяти высоко и система пытается найти свободный участок памяти.