В старых версиях GD была такая проблема у gdImageCopyResampled, используемой в ngx_http_image_filter_module:
grokbase.com/t/php/php-bugs/047pm8gqye/29315-new-bug-in-imagecopyresampled
Не уверен, что её исправили, так они считают, что это такая особенность алгоритма. Если не поможет, то могу посоветовать поиграть с размерами получающейся картинки. Степени двойки должны нормально получатся.
