Да ладно вам... Надеюсь производные все умеют считать.
Теперь давайте посмотрим внимательно на прямоугольник. Как считается его площадь? Ах да, S = a*b, это геометрия 7го класса, если не математика 4го.
Ок, теперь можно посмотреть на многоугольник, в который надо прямоугольник вписать. Ну, он неприятный, да, однако кое-что известно. А именно - "прямые отсечения", как нам сказал
@begemot_sun, вообще в данной задаче многоугольник лучше хранить в виде прямых. Ну да не суть, просто вычислений будет чуть больше. Ок, теперь что мы делаем. Мы строим функцию. Да да - самую банальную функцию. Функцию S(\phi) = a(\phi)*b(\phi). Как это получить - оставлю вам, там немного геометрии 7го класса.
Ну да, но вот вопрос, а что с ней вообще делать? Внимание ответ - поиск экстремума в общем случае - задача сложная =) Даже wolframalpha здесь
бессильна (впрочем конкретно в этом случае это даже невозможно). Так что здесь имеют место быть только оптимизации - метод градиентного спуска или
метод "отжига". Гуглите, читайте, реализуйте.
Алсо, может так внезапно стать, что задача разрешиться в общем виде. Ну, то есть когда будете производную искать, попробуйте не подставлять значения, а прямо так их. Вполне может статья, что задача имеет простое аналитическое решение.
P.S. Не пытайтесь просить кого-то решить задачу за Вас на таких ресурсах. Во-первых, это моветон. Во-вторых, ресурс здесь чтобы подсказать решение задачи, но не решить её ВМЕСТО Вас. Конкретно этот случай потребует часов 10 вспоминания матана средней школы, что не очень приятно. Учитывая ЗП в 2k/час, думаю это будет дороговато.
UPD. Внезапно осенило, что зависимость будет чуть сложнее. В том смысле, что это будет не просто S(\phi), а S(\phi, a) = a*b(\phi, a). Ну да, задача будет сложнее. То есть это уже самый ни на что есть матан - максимум функции от двух переменных.