Дистанция по 3-м каналам: R,G,B (прозрачность - по желанию)
_base - это каналы базового (опорный, эталонный) цвета, относительно которого проверяем.
R,G,B - каналы проверяемого цвета:
R=abs(Rbase-R)
G=abs(Gbase-G)
B=abs(Bbase-B)
D=(sqrt(R^2+G^2)+sqrt(G^2+B^2)+sqrt(B^2+R^2))/3
где D - удаленность проверяемого цвета от базового.
Сортируем D в нужном порядке для каждого цвета и получаем похожесть в зависимости от сортировки.