Какой алгоритм предпочитаете для проверки целостности данных/файлов?

Question

[wcyb]

md5, sha1, sha2, ...? Вопрос немного холиварный, понимаю. Сам использую md5/sha1 и не особо жалуюсь/вроде хватает, но всегда задавался вопросом: кто что предпочитает использовать на практике в текущих реалиях?
md5 и sha1 взломаны/можно "сломать" файл и хэш при этом не изменится. Косо смотрю на sha256 (вижу используют уже довольно часто для сверки файлов) и sha512 (вижу редко), при этом sha512 отрабатывает быстрее sha256 на 64битной системе.
В общем, в плане поддержки разными утилитами, безопасности и скорости смотрю на sha512, но чувствую что перебарщиваю, или нет?
Хранение нескольких разных хэшей не использую на практике, но хотя бы для самых важных файлов стоило бы
Интересно ваше мнение и что/как сами используете на практике

Comments

[GavriKos]

можно "сломать" файл и хэш при этом не изменится

вот только 99% что изменится размер +99% что этот файл не принесет никакого вреда.
А вот "сломать" так чтобы и хеш совпал, и от сломанного был толк - ну это настолько мизерная вероятность что просто ужс.

Вы кстати еще забыли хеши от кусков файлов. Т.е. сичтать не только хеш всего файла, но и дополнительно хеши каких то фреймов. Еще сильнее усложнит задачу "слома" файлов.

[wcyb]

GavriKos, на данный момент (на примере md5) сломанный файл будет иметь тот же размер и тот же md5 хэш, и файл действительно может даже работать, но в угоду зловреду. Про вероятность что такое может случиться с кем-то наверно можно согласиться, но лучше подстраховаться, в голове иногда порождаются разные мысли от прогресса, и то что раньше казалось излишней паранойей уже и не кажется такой глупостью

[GavriKos]

wcyb, посчитайте ради интереса вероятность. и шапочку из фольги поправьте.

[wcyb]

GavriKos, вероятность можно не считать, может хватить несколько часов, но нет, шапочки у меня нет) на практике меня волнует только тот факт, что файл будет поврежден

Answer 1

[Lynn «Кофеман»]

Так от чего мы защищаемся?
Если от случайных повреждений, то вообще пофиг и смотреть можно на самый быстрый (например xxhash)

Если от злоумышленника, то любой криптографический. Ну и, кстати, sha1 сломан только в том смысле, что можно создать два файла с одним хешом. Подобрать коллизию к выбранному файлу всё ещё нельзя.

Comments

[wcyb]

И то и другое: от случайных повреждений и зловреда в любом виде (человек/программа)
Для меня 2 разных файла одинакового размера с одинаковым хэшем равносильно сломанному файлу
Да, рассматриваю только криптографические

[АртемЪ]

wcyb,

Для меня 2 одинаковых файла с одним хэшем равносильно сломанному файлу

Значит вы либо не понимаете что такое хэш, либо не понимаете для чего его применяют.

[Karpion]

wcyb, Хэш обычно очень маленький - меньше обычного файла. Это значит, что каждому хэшу - соответствует много разных файлов. Не два, а очень-очень много.

[wcyb]

АртемЪ, не учли контекст, речь о том, когда файлы одинаковые по размеру, разные по содержанию и имеют равные хэши
хотя исправлю, можно понять неправильно

[wcyb]

Karpion, да, проблема наличия коллизий на бесконечных вариациях данных неизбежна, но речь о простых/исторически распространенных алгоритмах хеширования, где можно сломать/подменить файл и хэш при этом будет таким же.
если есть 2 разных файла, даже если они называются/выглядят одинаково (скажем ./qwe/rty.zip и ./rty.zip), и имеют одинаковые размеры и хэши, то тут проблемы нет

[Karpion]

Я не телепат, поэтому отвечаю строго на то, что пишут мои собеседники. А именно - на фразу "Для меня 2 разных файла одинакового размера с одинаковым хэшем равносильно сломанному файлу".

В названии "sha512" - "512" обозначает количество бит в дайджесте. Т.е. это всего лишь 64 байта.

Если взять файл всего в 65 байт - то на каждый дайджест придётся по 256 разных файлов одинаковой длины. А если брать реальные размеры файлов, то количество коллизий там неимоверное. И проблема только в том, что для данного конкретного файла - найти коллизию (т.е. файл с той же контрольной суммой) очень сложно.

Т.е. тут мы имеем достаточно типичную для математики ситуацию, когда мы точно знаем, что коллизии есть, и даже примерно знаем, сколько их. Но вот найти эти коллизии - мы не можем.
(Кстати, я не уверен, что коллизии равномерно распределены. Впрочем, хороший хэш - как раз имеет достаточно равномерное распределение коллизий.)

Вернёмся к фразе "Для меня 2 разных файла одинакового размера с одинаковым хэшем равносильно сломанному файлу".
Я уверен, что таких файлов - не два, а неимоверное количество. Но вот предъявить Вам я их не могу.

Но задача не в том, чтобы предъявить два (или более) файлов с одинаковым хэшем. А в том, чтобы найти алгоритм, который по заданному хэшу будет создавать альтернативные файлы. И там ещё одна проблема - что альтернативные файлы должны не просто иметь нужный хэш, но и нужный формат, иначе его отвергнут на этапе обработки.

[АртемЪ]

wcyb, Ну вы утверждаете что алгоритм взломан.
А на самом деле это не так.
Он просто недостаточно надежен для некоторых вещей и только.
Коллизии есть у всех алгоритмов, это нормально.
Для конкретной задачи подбираетеся алгоритм с достаточно низкой вероятностью коллизии - полностью исключить ее нельзя.

У такого старого алгоритма как md5 их достаточно много, и поэтому можно даже в некоторых случаях достаточно точно предсказывать их возникновение. Что и было доказано на практике.

Надо понимать что даже в случае использования MD5 у вас не получиться так отредактировать произвольный документ, чтобы и размер сохранился и хэш остался таким же.
Ключевое слово тут - произвольный.

Исследователи доказали что в некоторых случаях, на некторых документах такое возможно сделать, но не более того.

С любым другим алгоритмом хэширование можно проделать подобный трюк, просто они более надежные, и поиск соответственно более сложный и ресурсоемкий.

Собственно надежность алгоритма хэширования зависит от двух вещей - вероятности возникновения коллизий, и случайности их распределения.

Answer 2

[Ninazu]

То что вы понимаете под

можно "сломать" файл и хэш при этом не изменится

Называется коллизией. Обычно такие атаки имеют крайне жесткие требования. Например оба файла должны быть сугубо указанного размера. Часть файла должна совпадать. И т.д. И это ускоряет перебор в какое-то количество раз. Но не значит что дает возможность модифицировать как угодно один файл, и подогнать результат к значению хеша.
Если бы это было так. То всякие интернет казино, с преждевременными результатами и контролем честности, а также блоки биткоина. Сделал бы очень богатыми людей которые способны подбирать коллизии такие)

Comments

[wcyb]

Да, знаю что коллизией. Ну речь о более простых и по историческим причинам распространенных криптографических способах. Я думаю, если на практике (на примере казино и подобного) кто-то и додумается подбирать такие коллизии к чему то посложнее, то он догадается не выдавать себя)

Answer 3

[xmoonlight]

Всегда блок из нескольких хешей: sha-256, sha-384, sha-512.
Если нужна защита хеш-данных от промежуточной модификации - то подпись pgp.

Comments

[wcyb]

Я вот все чаще стал корить себя, что не использую несколько хэшей. Что используете для хеширования (утилиту), если не секрет? И как храните, каждый тип хэша в отдельном файле или все в один файл? В отдельных файлах конечно логичнее и зависит конечно уже от возможностей утилиты, но все же

[xmoonlight]

wcyb, это полностью самописное ПО.

Answer 4

[АртемЪ]

Какой алгоритм предпочитаете для проверки целостности данных/файлов?

Зависит от ситуации. Иногда достаточно md5, иногда и sha512 может не хватить.

md5 и sha1 взломаны

Это чушь!
Хэш это некоторое число ограниченного размера, полученное в результате применения специальной математической функции к определенному набору данных.

Любой хэш имеет коллизии - одинаковые значения хэша, при разных наборах хэшируемых данных.
Различается лишь вероятность возникновения коллизий, и равномерность их распределения.

можно "сломать" файл и хэш при этом не изменится

Это говорит лишь о неправильном применении хэша, а не о проблемах конкретного алгоритма хэширования.

Comments

[Karpion]

Различается лишь вероятность возникновения коллизий, и равномерность их распределения.

Категорически не так.
Допустим, у меня есть файл такого формата, что там есть место, куда можно напихать "мусор" - т.е. какие-то поля, куда можно записать что угодно так, что оно не влияет на обработку файла.

Например, в HTML я могу написать несуществующий тэг или несуществующий параметр к реальному тэгу - и записать туда что угодно текстовыми символами. Например:
<IMG SRC=картинка.jpg undefined="uhfsuidhfuid">
Так вот, плохой хэш позволит мне легко/быстро вычислить, что бы такое написать в параметр "undefined", чтобы хэш сошёлся. А хороший хеш вынудит меня перепробовать разные значения и проверять их на коллизию; учитывая большой размер этого хэша, ожидаемое время перебора оказывается больше времени существования Вселенной; а требуемая энергия - больше, чем энергия, излучаемая Солнцем за время существования Вселенной (считая энергию на одно вычисление равной температуре реликтового излучения, т.е. средней энергии кванта реликтового излучения).

[АртемЪ]

Karpion,

плохой хэш позволит мне легко/быстро вычислить, что бы такое написать в параметр "undefined", чтобы хэш сошёлся.

Это значит что возникновение коллизий этого хэша далеко от случайности и неплохо прогнозируется. И собственно этих коллизий достаточно много, чтобы уложиться при этом в формат файла. Только в этом случае можно вычислить что туда написать.

[Karpion]

Э-э-э...
Коллизии никогда не случайны. Они строго закономерны. Просто их трудно найти.
Коллизий - всегда достаточно много. Очень много. Опупительно много. Овер до фига много.
Вот вопрос с форматом файла - да, интересный. Возможно, сам формат файла такой, что файлов такого формата с заданной содержательной частью - меньше, чем комбинаций хэша.

Но вот в "Только в этом случае можно вычислить что туда написать." - Вы ошибаетесь. Хороший хэш - это такой, что даже если и есть куда записать, то непомерно сложно вычислить, что именно туда записать.

Т.е. надо надеяться не на формат файла, а на невычисляемость обратной функции.

[АртемЪ]

Karpion,

Коллизии никогда не случайны. Они строго закономерны.

Совершенно верно.

Коллизий - всегда достаточно много. Очень много. Опупительно много. Овер до фига много.

На какое количество хэшей? На тысячу или на миллион их много?

Хороший хэш - это такой, что даже если и есть куда записать, то непомерно сложно вычислить, что именно туда записать.

Ну значит md5 хороший хэш.

Т.е. надо надеяться не на формат файла, а на невычисляемость обратной функции.

Разумеется, для этого хэш и применяют. В хэше обратная функция не вычисляется вооще.

[xmoonlight]

АртемЪ,

В хэше обратная функция не вычисляется вооще.

Пример - в студию.

Answer 5

[Руслан]

md5 и sha512 да любой дело в производительности