Как найти одинаковые файлы?

Question

[QPrincess]

Нужно найти все одинаковые файлы с разными именами в различных папках на сервере. Также хотелось бы сразу знать есть ли уже такой файл, если юзер загружает новый файл.
Как вариант у каждого файла вычислить хеш md5, размер и записать в бд, после искать совпадения по базе.

Но может есть готовое решение для этого?

Answer 1

[xmoonlight]

Как вариант у каждого файла вычислить хеш md5

Да, притом, и на клиенте и на сервере.
На сервере - для тех, что уже на сервере.
На клиенте - для загружаемого файла (через JS в браузере перед отправкой), чтобы не грузить уже имеющийся на сервере и сразу отправить только хеш для получения результата: качать или уже такой есть.

Чтобы ускорить процесс - можно вначале собрать дирлист с размерами файлов и объединить одинаковые размеры в кластеры. И уже в них - выявлять: одинаковые там файлы или нет.
Кластеры - можно сохранить и обновлять в БД.
Чтобы быстрее было по размеру искать нужные файлы (не по хешу!).
Вариантов оптимизации - много и зависит от задачи.

Comments

[Антон Иванов]

xmoonlight Коллега, как бы вы поступили с большими файлами? Вычислять хеш файлов размером 1ГБ и выше та еще забава.

[xmoonlight]

Антон, приведите пример кейса по периодической заливке такого объёма через веб-интерфейс.

[Антон Иванов]

xmoonlight, система обмена файлами - у нас в организации такая есть и прекрасно работает, часто случается коллеги льют одинаковые образы ПО.

[xmoonlight]

Антон, через веб льют?!

[Антон Иванов]

xmoonlight, Да, система на PHP + jquery-file-uploader с загрузкой файла частями. Пока пришлось костылить - считывать первые и последние N байт файла и считать их хеш.

[xmoonlight]

Антон, а не хотите плагин отображения контрольной суммы файла всем поставить на винду?
Чтобы перед заливкой - пользователи вставляли бы в поле хеш и, если таковой уже есть, оно бы им сразу показало список и прочую инфу.

PS: почему такие объёмы не загружать через sftp?

[Антон Иванов]

плагин ... на винду

пользователи вставляли бы в поле хеш

Отличное предложение! Гендир с макбуком оценит юзерэкспериенс! :)

[xmoonlight]

Антон, а-а.. там ещё такой ген.дир, который образы льёт и не может хеш вставить?
Вы меня обманываете! ;)

Answer 2

[FanatPHP]

Как вариант у каждого файла вычислить хеш md5 и записать в массив, вида хеш => путь, по которому сразу же и искать.

Но может есть готовое решение для этого?

Готовое решение пишется в три строчки и очень полезно для общего развития.

Answer 3

[Дмитрий Малинин]

Как вариант использовать rsync который из короби это уже умеет.