Как получить "хеш"/сравнить изображение?

Question

[maksam07]

Добрый день. Задача такова: уменьшить количество дублирующихся изображений на сервере (wordpress, если это важно).
Есть новостной сайт, иногда у новостей могут проскакивать одни и те же изображения, которые каждый раз были загружены повторно, хотя они 1в1 (или около того) похожи. Я хочу при загрузке изображений, записывать некий хеш в БД, и если я буду загружать подобное изображение снова, чтобы система мне сообщала, что такое изображение уже существует. На счет получения хеша изображения, может быть эта задача и не сложная, но как быть с такими дублями, если размер/пиксели и прочие мелочи могут не значительно отличаться?
Можете дать направление, как можно сравнивать изображения на сервере, чтобы уменьшить количество дублей?

Comments

[maksam07]

Justa Gain, с хешем файлов, в принципе, проблем и не будет, хотя действительно, надо сначала тест провести, а там глядишь, уже большое количество изображений может отсечься

Answer 1

[Дмитрий]

Гуглить perceptual hash.

Одна из реализаций

https://github.com/jenssegers/imagehash

Comments

[maksam07]

На первый взгляд прям очень хорошая реализация, изучу

[maksam07]

Пока что это решение кажется лучшим, по нескольким тестах показатели довольно хорошие

Answer 2

[Ипатьев]

https://php.net/md5_file

Comments

[Stalker_RED]

Только для полностью идентичных файлов, отличие в одном пикселе или даже в мета-данных даст разный хеш.

Answer 3

[alekssamos]

Простое сравнение изображений с помощью php

Comments

[maksam07]

Кстати, кажется, я подобную реализацию видел для питона. Изучу, спасибо

Answer 4

[alexalexes]

Для ведения новостей прежде всего нужно определить порядок, как создавать каталоги для хранения сопутствующего контента для людей, кто ведет их. Если плагин галереи не берет на себя обязанность автоматически создавать каталоги под свои нужды и не скрывает это от контент-менеджера, то контент-менеджер (человек) тупо складывает картинки в один каталог.
На моей практике я делаю так.
Под новости создаю каталог news, в каталоге на каждый год создаю каталог года - 2023.
Внутри каталога года создается каталог конкретной новости, который создается менеджером для новости, если требуется положить дополнительный контент. Обычно, имя у него такое: YYYY_MM_DD_NN, где YYYY - год, MM - месяц, DD - день, NN - порядковое число новости в один день.
Для повторяющегося контента можно задать каталог по умолчанию в news, например default, и складывать туда часто используемые изображения, заглушки и т.д.
И самое, главное, чтобы эту практику поддерживали менеджеры, тогда проблем с дублированием не будет, и не будет бардака в новостях.

Comments

[maksam07]

Все по стандарту в ВордПресс. Там по-моему подкаталог год/месяц/имя-файла
Галереи отдельной нет, тоже стандартный медиа-зазгрузчик.
Из банального могу реализовать такое:
- проверка по имени файла, т.к. дубли не редко одинаково называются, а потом вп им просто приписывает цифру, чтобы имя было уникальное
- получения хеша содержимого, но изменение в один байт уже сделает хеши разными

Вот и ищу что-то более универсальное

Answer 5

[Stalker_RED]

На хабре есть несколько статей, и с самописными решениями и с готовыми инструментами.
https://www.google.com/search?q=habr+%D1%81%D1%80%...

Answer 6

[Refguser]

Чтобы не изобретать кривые велосипеды https://wordpress.org/plugins/media-deduper/

Comments

[maksam07]

Он работает на основе md5_file, который предложил Ипатьев. Частично это тоже по теме, но хочется несколько шире функционал. Я сейчас изучаю ответ Дмитрий , и на данный момент, это кажется лучшим решение

[Refguser]

maksam07,

Он работает на основе md5_file,

Он готовый. Установил и сразу решил свою задачу.
Но если тебе интересно потратить кусок жизни для написания своего (такого же, но хуже) плагина - я не против.

[maksam07]

Refguser, толку от того, что плагин работает, если он не выполняет нужную мне задачу? Любой лишний байт вставил и плагин уже не видит дубликат.
И почему "хуже"?

[Refguser]

maksam07, поставь посмотри, попробуй загрузить копию с изменением в "1 байт".

[maksam07]

Refguser, посмотрел. Не видит он дубля при изменении даже 1 байта. Даже при таком же кол-ве байтов, но другом содержимом.