Есть готовая бесплатная технология. Vuforia Smart Terrain. Нужен любой 3D редактор (если нужно определять таргеты по форме), либо есть альтернативный Image Target (распознавание по изображению). Unity3D, естественно, для разработки. X-Code для сборки приложения.
