Обычно подобные махинации выполняются циклом попиксельно...
Не знаю, на сколько обработка графики ушла вперед, вроде не сильно, но imagick вероятно будет в этом плане быстрее.
Но смысл в том, то вы получаете цвет попиксельно из картинки и ищете цвет, который не входит в ваш диапозон разрешенных. Находите за счет этого 4 координаты и режете картинку. В целом все это весьма просто, но ресурсоемко.
