У меня есть мои координаты и координаты здания. Нужно чтобы я шел по улице и в активити рисовалась стрелка в направлении к этому зданию.
Очевидно, что представленных данных недостаточно. Нужно знать ещё как ориентирован телефон в системе координат тебя и здания. Т.е. условно, единичные вектора направленные вверх и вправо по экрану. Судя по картинке предлагается считать, что телефон смотрит на север. Ну, можно так.
Вычтя из координат здания свои координаты получишь вектор направленный от себя к зданию. Нормировав его к единице и взяв проекции этого вектора на вектора "вверх" и "вправо" получишь координаты вектора направления на экране.