Способов много.
Если полигон векторизован, т.е., известны координаты концов всех его рёбер, то полигон триангулируется в набор треугольников (предварительно он разбивается на набор выпуклых многоугольников) и у каждого считается его площадь.
Если же это растр, то да, надо считать площадь залитой фигуры. Здесь основная проблема в определении начальной точки, которая однозначно будет лежать внутри многоугольника.