А каким образом пользователь эту фигуру вводит?
Вообще, любая CAD система умеет считать площади нарисованных фигур.
Если хочется что-то своё, то вот варианты:
Если фигура задаётся прямыми линиями:
https://ru.wikipedia.org/wiki/Формула_площади_Гаусса
Если пользователь рисует фигуру попиксельно (не векторно) - можно просто посчитать количество пикселей в замкнутом контуре и умножить это количество на площадь одного пикселя.
Если фигура состоит из более сложных форм - дуг, кривых безье, и пр - сложнее (тут хз. Наверно разбивать придётся)