В наиболее простом случае можно построить окружность и искать далее вхождение точки в нее:
(x - x0)^2 + (y - y0)^2 <= R^2
где x и y - координаты вашей точки, x0 и y0 - координаты центра окружности, R - радиус окружности, ^2 - возведение в квадрат. Если условие выполняется, то точка находится внутри (или на окружности, в случае равенства левой и правой частей). Если не выполняется, то точка вне окружности.
Если же все же необхоим произвольный контур, то в
этой статье описан алгоритм определения попадания точки в произвольный контур. Также, можно прочиатать о вопросе на
Википедии.
