Видел где-то статейку от Google, попробуйте в поиске «Google Maps MySQL points radius», должно выдать пример запроса с формулой.
Но изначально предостерегаю: не возлагайте расчеты на MySQL.
Лучше продумаете структуру для БД. Например, разбивать на небольшие секции и хранить точки подобным образом, а потом просто сортировать полученный массив. Но это сугубо мое мнение.