Вы же в курсе, да, что MeshNormalMaterial просто представляет нормали геометрии в определенных цветах? Грубо говоря, в какую сторону смотрит поверхность - такой и будет цвет.
Если вам нужен определенный цвет - используйте любой из подходящих материалов - Ламберт, Физик.