В студенчестве, для случаев с выпуклыми многоугольниками я выяснял принадлежность точки с помощью равенства площадей самого многоугольника и суммы площадей треугольников, образованных точкой и всеми вершинами многоугольника. Если сумма больше площади (+некая погрешность вычислений), то точка лежит вне многоугольника.
