Если не учитывать то, что это координаты на поверхности геоида, а считать координатами на плоскости, то подойдет теорема Пифагора.
В прямоугольном треугольнике квадрат длины гипотенузы равен сумме квадратов длин катетов.
SQRT(POW(latitude-latitudeA,2)+POW(longitude-longitudeA,2))<N
