Например, можно конвертировать их в цветовое пространство HSL, а далее, сортировать по оттенку (Hue), внутри него - по насыщенности (Saturation) и яркости (Lightness).
Сортировка по значениям R,G,B даст весьма странный результат, как вы, вероятно, уже заметили.
