проверьте версии gd, это первое что приходит, если сильно не нравится - переписывайте на imageMagic, там вроде качество получше. Еще попробуйте поменять дефолтные настройки преобразования, на бикубик например(если не выставлены). Там внутре у гд туева хуча настроек которые определены по умолчанию, но влияют на качество нехило.
