Посмотрите это видео:
https://youtu.be/QJC27E9bvqU
В нём дана идея алгоритма. Вкратце - это частный случай гипотезы Тёплица. Для нахождения вписанного прямоугольника можно особым образом "развернуть" фигуру в единичный квадрат и построить на нём функцию расстояний между всеми парами точек контура. Можно сделать это, например, с некоторым малым шагом дискретизации. Точки самопересечения построенной функции дадут координаты углов вписанного прямоугольника.
