Вам нужно работать не со всеми цветами из изображения, а с цветовой статистикой.
Методы поиска доминирующих цветов изображения описаны в этой статье на Хабре
https://habrahabr.ru/post/156045/ и в трех других, на которые даны ссылки в ее первом абзаце.
Далее, вам нужно искать изображение, в наборе доминирующих цветов которого есть цвет, наиболее близкий к тому, по которому вы осуществляете поиск. Для этого, вам нужно ознакомиться с теорией цветовых пространств и сравнения цветов на основании расстояний между ними в этих пространствах. По это теме начните с
https://habrahabr.ru/post/181580/
Это не такая простая задача, как вам кажется. Простые решения для нее дают отвратительный результат.