Как защититься от дублирования файлов при загрузке на сервер?

Question

[djhox]

Как лучше всего сохранять файлы на сервере?
Раньше я записывал md5 хэш для каждого файла и при загрузке сверял хэш нового файла с имеющимся в базе и если такой хэш существует - файл не загружался, а отдавался id предыдущего закаченного файла.

Но, я так понимаю, что с md5 высока вероятность коллизии. Как же лучше тогда проверять файлы на дубликаты?

Comments

[d'Ivan]

Были прецеденты с коллизиями хэшей?

[djhox]

Роман Мирр, да, один раз был, вот теперь и задумался

[d'Ivan]

djhox, а сколько всего объектов?

Answer 1

[GavriKos]

1) Храните несколько разных хешей, есть другие алгоритмы помимо md5
2) Перед md5 сравнивайте еще и просто размер
3) Если уж ВСЕ совпало - для полного исключения - сравните побайтово

Comments

[djhox]

Блин, гениально и просто. Спасибо за помощь.

[d'Ivan]

В 3-м нет смысла. Достаточно просто 2-х разных видов хэшей.

[GavriKos]

Роман Мирр, ну никто не мешает завести такую проверку (там кода то понт). Не зря я ее в 3 пункт поместил - это надо проверять только если совсем атас.

Кстати, мне кажется, что достаточно и 1 вида хеша - но считать для чистого файла и "посоленного". Но не уверен.

Answer 2

[SagePtr]

Я храню в в таких случаях в виде sha1(содержимое) + оригинальное расширение. Если файлов много, то хранить их не скопом в одной папке, а раскидать по папкам, имена которых состоят из первых 2 символов хэша (если больше папок надо, то можно несколько уровней вложенности - по символам 1-2, внутри ещё папки по символам 3-4 и т.д.)
Вместо sha1 можно любой другой алгоритм, например, sha256.

Comments

[djhox]

Спасибо, по поводу папок знаю, разбиваю на 3 подпапки, так как много мелких файлов. Но вот на счет оригинального расширения и особенно размера файла - раньше как то не задумывался. Спасибо за подсказку.

Answer 3

[d'Ivan]

Можно просто заменить алгоритм хэширования на BLAKE2b.