Akson87

Много много ИК и/или ультразвуковых датчиков на потолок, считать расстояния, строить карту высот и вычленять головы. Но это так, мысли вслух, весьма дорого такое будет и нужны будут весьма хорошие алгоритмы обработки.

я тут http://habrahabr.ru/post/126290/ описывал пример использования FaceAPI. Там есть все, что вам надо для веб-камеры.

Вы сначала определите, что вы считаете лучшей картинкой. Люди о качествах картинок на всяких телеках с разных плееров итд итп спорят вечно (а еще аудиофилов можно вспомнить с теплым ламповым звуком:)). Вот когда определите, что такое хорошо, а что такое плохо для данного случая, тогда уже можно думать об алгоритме.

Могу предположить, что если прогнать их через FFT и посмотреть у кого высокочастотная часть меньше, то там будет меньше шумов, хотя там просто все может быть жестко замылено.

Могу предложить связку Python+OpenCV, небольшой скриптик в пару десятков строк должен решить проблему.

А с каких пор сифт перестал быть инвариантным? Вроде как он как раз для этой цели лучше всего и подходит. В пределах разумного конечно…
Посмотрите на всякие GLOH, PCA-SIFT, Rank SIFT. Может для вашей конкретной задачи кто-то из них подойдет лучше.

Попробуйте рассматривать Вашу задачу как задачу кластеризации. Т.е. есть кучка точек в 3хмерном пространстве, соответствующем RGB и надо найти наибольший кластер, скорее всего он окажется вытянутым весьма, можно его вписать в эллипс и центр эллипса будет нужным цветом.
Еще если известны свойства 3д модели, можно подумать о том, что это поверхность, у нее есть нормали, прикрутить некую модель освещения и попробовать восстановить истинный цвет объекта. Но это так… что в голову приходит первым.