По уму надо, как вам уже указали, переводить
RGB в Lab и затем считать по формулам
CIEDE2000.
Если все не настолько серьезно, то можно просто посчитать расстояние в трехмерном пространстве от точки с координатами (R, G, B) до (255, 255, 255):
dist = sqrt( (255-R)^2 + (255-G)^2 + (255-B)^2 )
— и сравнивать полученное расстояние с подобранное экспериментально границей.