www.movable-type.co.uk/scripts/latlong-db.html
кратко
d = acos( sin(lat1)*sin(lat2) + cos(lat1)*cos(lat2)*cos(lon2-lon1) ) * R
расстояние между двумя точками (широту с долготой надо в радианы перевести)
R- 6371km радиус земли
на страничке есть sql для селекта точек в радиусе от текущей, думаю текущий sqlite его потянет.
Библиотек под андроид не знаю, сори