1. Отсюда берем мат.аппарат
https://www.movable-type.co.uk/scripts/latlong.html
2. Правильно ставим задачу
2.1 если есть набор точек, среди которых надо выбрать те, что удовлетворяют условию, то прямо копируете/переписываете код оттуда и проверяете для каждой пары точек.
2.2 если точек нет, но надо получить массив точек, который может удовлетворять условию, то конкретизируйте задачу.