Вопрос первый. А вы свою сеть обучали только на "хорошо освещенных" изображениях или на всех, в том числе и на "темных"?
Вопрос второй. А что вас собственно удивляет?
Вы никогда не обращали внимание на то, что даже люди слабо освещенные объекты распознают хуже, чем хорошо освещенные? Тем более перепутать лицо человека в темноте - это запросто.
Было бы очень странно, если бы системы работали не так. Все что вы можете сделать - немного "подправить" изображение, поигравшись с их яркостью, насыщенностью и пр. А уж потом натравливать на них вашу нейросеть. Только не забудьте перед этим нейросетку обучить именно на предварительно обработанных фото.
Совсем "безумная" идея - попробовать работать с фото, предварительно переведенными Grayscale.
Указанные процедуры (кажется) можно сделать средствами OpenCV.
