Знаю, что прошло уже более 3 лет, но тут проблема заключается в том, что умножать arccos этой формулы нужно на 6371(радиус земли в км) только в случае, если расчёты были в радианах.
Если же расчёты были произведены в градусах, то следует умножать полученное значение на длину дуги 1° меридиана — это примерно 111,1 км.
То есть тут следовало либо умножать arccos полученного результата на 111,1 км, либо значения углов перевести в радианы.