imagick (imagemagick)
gmagick (graphicsmagic)
если имеется в виду создание нового фильтра - то это также можно сделать, используя эти библиотеки.
большинство прочих фильтров составляются из более базовых. остальные - прямым доступом к каждому пикселю, через интерфейс этих библиотек.