Данная задача известна как
задачу сегментации - выделение искомой части изображения. Задача весьма распространенная, хотя найти готовое решение, которое будет работатеь из коробки, может быть весьма затруднительно.
В сетии весьма много теоретических статей (
тыц,
тыц). Встречаются также практические
примеры. Но, скорее всего, допиливать прийдется самостоятельно.