Kislov

Как определить средний цвет? Берём и делаем thumbnail в один пиксель а потом считываем цвет этого пикселя. Храним в СУБД в виде 3 столбцов.
Поиск можно тупо работает быстро:
Для where что то такое: «color_r>:cr-:ck and color_r<:cr+:ck and color_g>:cg-:ck and color_g<:cg+:ck and color_b>:cb-:ck and color_b<:cb+:ck»
Для order by: «sqrt(2*abs(color_r-:cr)*abs(color_r-:cr) + 4*abs(color_g-:cg)*abs(color_g-:cg) + 3*abs(color_b-:cb)*abs(color_b-:cb))»
У меня на сайте anime-pictures.net/pictures/view_posts/0?lang=ru так сделано.

Вручную — так себе перспективка.
Нужно пройтись по каталогу и индексировать изображения по преобладающим цветам. А дальше поиск по близости искомого цвета.
Я сам не занимался этим, поэтому конкретный рецепт не дам, но нагуглился вот такой пример.
Там в качестве референсных точек для преобладающих цветов выбрана web-safe палитра на 216 цветов, что, в принципе, весьма неплохо для старта. При необходимости, палитру можно расширить.
В случае ограниченной палитры индексация и поиск будут значительно проще, чем с полноцветной.