Начни с изучения OpenCV, полностью свою библиотеку напряжно написать, тем более что большинство sdk используют openCV, только со своими доработками.
Потом смотри на проблемы Угла зрения, показаний датчиков камеры и тд и тп.
Мне месяц понадобился чтобы с нуля написать свой sdk, и это только решающая малую часть проблем.
До этого с ar знаком был только в общих чертах.
Сейчас как раз цепляю openCV для передвижения виртуальной камеры на небольшие расстояния. По другому пока ни как.