Проведите из точки луч в любую сторону. Если он пересекает контур нечётное число раз, то точка в контуре, если чётное (или ноль), то вне контура.
Если луч попадает в вершину, то надо определить, как расположены примыкающие к этой вершине отрезки контура относительно луча. Если отрезки находятся с разных сторон от луча, то засчитывается одно пересечение, если с одной - то ни одного.
Если один из отрезков контура совпадает с лучом, то надо смотреть как располагаются относительно луча соседние отрезки.
Ещё можно взять интеграл по контуру относительно точки, но там сложно распознать краевые случаи из-за погрешности вычислений.