Я бы сначала нашел положения прямых отсечения.
Например для каждого угла нашел бы точки пересечения цветного изображения с границами изображения (первые true). Исходя из этих точек, для каждой прямой можно построить её формулу Ax+By+C = 0 (причем по 2 прямые будут параллельны, и по 2 перпендикулярны, т.е. буду отличаться только константой C и знаком A или B)
Далее задача была бы легкой - это максимизация площади прямоугольника углы которого лежат на этих 4х прямых. 100% такая задача уже где-то описана в мат литературе, на крайний случай решить её итерационными методами.