Какой хеш лучше получать у файла?

Question

[Данил Антошкин]

Пишем программу по поиску дубликатов, какой хеш использовать для дальнейшей проверки файлов, нужна быстрота работы, по MD5 файл в 20 ГБ проверялся 10 минут

Answer 1

[Sumor]

Для больших файлов считайте хеш не всего файла, а, например, начального мегабайта или хитрой последовательностью - десять кусков по мегабайт из разных частей файла. Всё равно если у вас подозрение на дубликат, то нужно перепроверять другим хешем или непосредственным сравнением.

Comments

[Данил Антошкин]

А по какому хешу это считать, ещё раз быстрота ключевой параметр

[Sumor]

Нужно брать и пробовать на ваших массивах может вам и crc32 подойдёт

Answer 2

[Армянское Радио]

Какие файлы? Универсальное решение будет, или работающее с конкретным типом данных?

Имеет смысл знать хэш файла, посчитанный, например, через каждый десяток мегабайт. Тогда сравнение можно делать частично.

Посмотрите алгоритмы, которые использует rsync.

Comments

[Данил Антошкин]

Да универсальный

Answer 3

[Егор]

КО намекает что быстрее MD5 только CRC32. Кроме шуток с двадцатью гигабайтами, быстро ничего работать не будет, просто потому что эти гигабайты надо через память прогнать. Такие задачи решаются разбиением исходного объёма данных на блоки. Например, брать хэш сумму каждого мегабайта, а потом общую хэш сумму полученных сумм. Достоинство такого подхода в том, что можно считать хэш у частично закаченного файла или считать в несколько потоков.

Comments

[Данил Антошкин]

Нужен быстрый и универсальный способ для всех размеров

Answer 4

[Everything_is_not_so_bad]

djb2, например. В сочетании с техниками, перечисленными ранее.
Взят из списка некриптографических хеш-функций