а вы уверенны что у вас имено велосити для шара, а не ангулар велосити. иными словами шар у вас не скользит небось, а вращается/катится небось.
Ну и банально в одном кадре он был тут. в следующем здесь. между двумя точками построили вектор - узнали куда катится.
с камеры вектор направления (банальный форвард) взять проще простого.