Вы очень обобщенно сформулировали вопрос, в таком виде не получится ответить конкретно. За каким именно объектом вам нужно следить? Маркер/лицо/человек/2d-картинка?
Можно найти на объекте так называемые features — углы, например или края, в общем, особые точки и посчитать их дескрипторы методами типа SIFT или SURF. Затем искать эти точки в каждом кадре.
