Я правильно понял, вам нужно:
"Вписать произвольную фигуру в окружность минимального радиуса"
?
Если да, то я бы попробовал бы для начала так:
1) Находим две точки фигуры, максимально удалённые друг от друга
2) Ваша искомая точка - центр этой прямой, соединяющая точки из 1 шага
