Это стандартная задача геодезии по вхождению точки в полигон, решается косым умножением векторов.
По сути, перебираются все отрезки полигона и смотрится с какой стороны отрезка лежит точка. Считаешь количество всех случаев когда она лежит справа от отрезка (т.е. пересекает при повороте), отфильтровываешь все отрезки, которые лежат выше или ниже точки. Если кол-во справа четное или ноль, значит точка в полигон не входит, если нечетное, значит лежит внутри полигона.
Кодом решается в пять строк.
PS: нашел свой
ответ двухгодичной давности)