Вручную — так себе перспективка.
Нужно пройтись по каталогу и индексировать изображения по преобладающим цветам. А дальше поиск по близости искомого цвета.
Я сам не занимался этим, поэтому конкретный рецепт не дам, но нагуглился
вот такой пример.
Там в качестве референсных точек для преобладающих цветов выбрана web-safe палитра на 216 цветов, что, в принципе, весьма неплохо для старта. При необходимости, палитру можно расширить.
В случае ограниченной палитры индексация и поиск будут значительно проще, чем с полноцветной.