Для пикселя с идеально серыми оттенками будет верно R=G=B.
Можно также перевести RGB в HSV (Hue-Saturation-Value) и проверять значение S. Идеальный оттенок серого в пикселе будет давать S=0. Для неидеального серого (например, сканировав лист A4 в сканере в режиме RGB) значение S будет недалеко от 0.
Некоторые вычисляют для каждого пикселя
delta = abs(R-G) + abs(G-B) + abs(B-R)