Сначала надо соединить (можно мысленно, если у вас хорошее геометрическое воображение, но можно и на чертеже) точки вершин прямыми линиями таким образом, чтобы вся фигура оказалась разбита на треугольники. А для площади треугольника есть готовая формула, вот она.
Если координаты вершин треугольника:
A (x1; y1)
B (x2; y2)
C (x3; y3)
То его площадь -
S = ½*((x2-x1)*(y3-y1) — (y2-y1)*(x3-x1))
Затем суммируем площади всех треугольников и получаем искомую площадь фигуры.
Найдено здесь.