Первое, что пришло в голову, PIL и numpy. При помощи PIL можно просто сравнить изображения, а допилить с помощью numpy (преобразовать в массив данных и написать алгоритм сравнения). Вот первое, что нашел по этому вопросу:
В ответах еще можно найти программку
ImageMagick. Только вам не надо их сравнивать, а надо искать похожие, а это задача посложнее.