Как реализовать проверку файлов при загрузке по хешу?

Question

[SmallJun]

Всем привет! Вопрос по PHP.

При загрузке файлов на сервер надо реализовать их проверку по хешу, чтобы пользователи не могли загружать повторно одни и те же файлы, пусть и с разными названиями. Вопрос - как это сделать? Я новичок, не могу разобраться.

Можно ли как-то обойти все файлы, которые уже лежат на сервере, и проверить их хеш? Может быть, они автоматически помещаются в какой-то массив и хранятся там?

Comments

[Сергей delphinpro]

Можно ли как-то обойти все файлы, которые уже лежат на сервере, и проверить их хеш?

Можно обойти все файлы, имеющиеся на сервере и сохранить их хеши в базу данных.
В дальнейшем вычислять хэш каждого нового файла и так же добавлять в базу.
Перед сохранением проверять наличие хеша в базе.

Может быть более конкретный вопрос зададите?

[SmallJun]

Сергей delphinpro, подскажите, а каким образом их можно обойти? С помощью scandir получить массив файлов, и у каждого вычислить хеш?

с базами данных пока не работал( думал сохранять данные о хеше в массив, но с каждой загрузкой файла он перезаписывается

[Дмитрий]

SmallJun, просто рядом с файликом ложите файл с метой, размер, формат, хэш, прочее, я подобное реализовывал чисто на файлах, можно не сравнивать и не сканить фс, гравное сохраните файл с именем хеша и просто одной проверкой https://www.php.net/manual/ru/function.file-exists.php будете знать о наличии

https://github.com/Compolomus/BinaryFileStorage вот та реализация, изучайте

[SmallJun]

Дмитрий, спасибо) классное решение

[mayton2019]

Открою секрет. Современные облачные хранилища (я проверял AWS S3 и Azure Blob) автоматически генерируют MD5/SHA1 хеши и хранят их рядышком с файлом как object attributes. Там-же хранится дата модификации, mime-type и прочая лабуда. Более того расчет этих атрибутов идет автоматически. Без вашего участия.

Если вы - счастливый обладатель таких облак - то welcome. Если нет - то просто берите идею на вооружение. Или может yandex cloud уже внедрил. По поводу того где хранить. Можно хранить в файловой системе как директорию с md5. Например

fdbea1219eb9d68449853469112f7523/millajovovich.jpg
9d93e579ecbcd21ecae7bdf588ba7314/Milla_Jovovich.jpg

Как обойти все файлы и обновить хеш? ХЗ. Наверное в лучше это делать по событию загрузки в PHP.
А для тех файлов что уже загружены - посчитать суммы через утилиту md5sum.

А вот пример того как это уже реализовано (для чтения только) в maven repository с точки зрения HTTP/Rest
Смотрим хедеры файла. И видим аж 2 контрольных хеша. Дальше можно принимать решения по загрузке файла.
Не грузить если таковой уже был.

$ curl --head https://repo1.maven.org/maven2/com/wavemaker/app/build/wavemaker-app-build-utils/10.15.0/wavemaker-app-build-utils-10.15.0.jar
HTTP/2 200 
etag: "03e5dd1c94b3e9bbf4d4c5c9c31c7781"
content-type: application/java-archive
last-modified: Sun, 24 Jul 2022 14:33:41 GMT
x-checksum-md5: 03e5dd1c94b3e9bbf4d4c5c9c31c7781
x-checksum-sha1: cd6a543bdbd42053c5cdaaf776320fc9c155d76a
....