В голову приходит два варианта:
1) В лоб: обучить одну сеть (что-нибудь простое из сверточных сетей, вроде VGG) на всем датасете, взять фичи с предпоследнего слоя для каждого из изображений, которые надо сравнить, посчитать cosine distance между полученными векторами. Пишется на питоне в 50-100 строк.
2) Если хочется заморочиться:
siamese networks.