Самое простое — считать сумму квадратов расстояний по каждому из компонентов: R, G и B.
Для пары
0000DD, 0000C8
«расстояние» будет такое:
(0x00 - 0x00)^2 + (0x00 - 0x00)^2 + (0xDD - 0xC8)^2 = 441
Так посчитать до каждого из определённых цветов, найти минимум.
Можно сравнивать в других цветовых моделях. Например, в HSV (оттенок, насыщенность, яркость) — если посчитаете, что насыщенный красный и тусклый красный точно того же оттенка «ближе», чем той же яркости оранжевый. Речь о возможно разных «весах» каналов в деле определения близости двух цветов.