Как вариант — можно использовать приближенный «метод монте-карло»: брать n случайных пикселей, проверяя равенство значений всех цветовых каналов. Чем больше число проб — тем большая вероятность, что изображение — грей-скейл.
Естественно, что при первом же цветном пикселе — возвращать негативный результат.
Результат будет не на 100% точный, зато относительно быстрый.