хм… интересная задачка. Думаю, её можно представить так:
детектирование лица -> детектирование эмоции
первая задачка уже вполне решена — в том же
OpenCV есть уже обученный пример на основе Виола-Джонса.
думается, что и эмоции можно детектировать тем же способом, применив мультиклассовый классификатор.
Например, для начала озадачиться задачей детектирования улыбки, затем грустного выражения (вот тут будет сложновато — с улыбкой всё должно быть проще :)
Успехов!