Сначала надо уточнить для каких целей.
Если для коммерческого использования, то все уже давно написано и заморачиваться с разработкой будет дороже.
Если же для учебных, то читаем про OpenCV и вперед.
Я когда-то свою карьеру начинал с подсчета людей на видео… то еще развлечение. Ни та ни эта задачи до сих пор со 100% точностью не решены и являются гораздо более сложными, чем кажется на первый взгляд, но попытка решить ее принесет довольно много пользы. Чтобы понять сложность, попробуйте представить легковушку едущую за грузовиком и появляющуюся из-за него на пару кадров или две машины, которые едут на одной скорости рядом. Даже простое отделение машины от асфальта во время дождя не является простой задачкой.
