Как не загружать файл на сервер, если найден файл с таким же размером?

Question

[Hellas]

Пользователи имеют возможность загружать файлы. Необходимо на сервере проверять, есть ли файл с таким же размером и если есть - выдавать пользователю ссылку на старый файл, вместо того, чтобы загружать новый, точно такой же.
Есть ли готовое решение для подобных задач?
Toster вроде бы использует подобную систему загрузки файлов.

Comments

[Андрей Голубков]

может быть хэш нужно сравнивать, а не размер ?

[Алексей Ярков]

Андрей: +1

[napa3um]

Можно воспользоваться BTRFS или ZFS, если нет понимания, как руками прикрутить дедупликацию файлов.

Answer 1

[Андрей Голубков]

Можно попробовать держать таблицу, с полями имя файла, размер, хэш, ссылка.
При загрузке проверять запросом, есть ли такой файл в базе, если есть то выдавать ссылку, если нет, то загружать и записывать данные файла в БД

Answer 2

[Роман]

можно считать хэш на лету (хотя база быстрее чем доступ к файловой системе).
в любом случае считать хэш а не сравнивать размер - идентичный размер не гарантирует, что содержимое тоже идентично.
готовое решение сильно зависит от того что на сервере.

Answer 3

[Виталий Инчин ☢]

Обычно сравнивают md5-hash содержимого. Это гарантирует наиболее точную проверку. Проверка по размеру это ... неприемлимо, мягко говоря.

Считать содержимое файла через JS вам поможет FileReader. Формируете хэш, спрашиваете у сервера, имеется ли такой.

Для тех браузеров, что не поддерживают эту технологию, придется загружать файл на сервер и уже там проводить проверки.

Comments

[Lynn «Кофеман»]

Ну только не md5, а хотя бы sha1.

[Виталий Инчин ☢]

Алексей Тен: вы считаете, в данной ситуации это так важно?

[Lynn «Кофеман»]

Виталий Инчин ☢: ну, это сильно зависит от специфики того, что предполагается заргужать.

Впрочем, если автор хочет проверять размер, то видимо ему всё равно :)