Есть маленькая, но всё-таки разница между «входит в радиус» и «входит в квадрат». Квадратное решение проще, для него вообще серьёзная ГИС-артиллерия не нужна, да и работает молниеносно.

Делается это так:
0. Предполагаю, что координаты точки в радианах у вас хранятся в базе данных, в полях lat и lng.
1. Создаёте один индекс на оба поля для ускорения запросов.
2. В коде переводите 10 км в радианы (кажется, в одном метре 0,1988 радиан, но проверьте).
3. Чтобы определить, какие точки входят в квадрат со стороной 10 км с заданной точкой в центре, пишете такой запрос:

SET @lat = 51.526613503445766; # дано в условии
SET @lng = 46.02093849218558;
SET @half= [10 км в радианах] / 2 ;


SELECT id
FROM points
WHERE lat BETWEEN @lat - @half AND @lat + @half
  AND lng BETWEEN @lng - @half AND @lng + @half;

Первые 3 строки (SET) надо убрать и вместо них в запросе использовать переменные из вашего языка сервера приложений (Питон, я так понимаю).

Если нужно точное значение (земля ведь не ровный шар) или радиус, то см. решения других авторов.

У Google Maps есть встроенный механизм отрисовки polygon и polyline. Там даже анимацию можно делать.

developers.google.com/maps/documentation/javascript/overlays — мануал
developers.google.com/maps/documentation/utilities/polylineutility — тулза чтобы попробовать

Кстати, Google Maps поддерживают кодирование списка координат в строку. Я мерял объёмы данных — получается в 10 раз меньше данных для передачи по сети. Достигается это за счёт того, что буквы намного «ёмче» цифр. Алфавит больше = строки короче. Попробуйте.

Википедия про Ютландское сражение:

Англичане применили тактику охоты за залпами, направляя крейсера прямо к месту падения вражеского залпа. Поговорка о том, что снаряд дважды в одну воронку не попадает, оказалась справедливой, и крейсера не получили серьёзных повреждений, хотя и вынуждены были идти зигзагами.