Как проверить хеш суммы файлов в линукс?

Question

[Dima Kim]

Добрый день, имеется в каталоге около 500 тхт файлов, некоторые содержимым похожи, надо проверить хеш суммы чтобы выявить похоже и файлы, как это реализовать?

Answer 1

[Кирилл Романов]

Хеш-сумма будет одинаковой только у абсолютно одинаковых файлов. Похожие ею не отследить

Answer 2

[Дмитрий Шицков]

Сравнить текстовые файлы по содержимому можно с помощью утилиты diff.
https://www.opennet.ru/man.shtml?topic=diff&catego...

Answer 3

[Владимир Мартьянов]

Можете использовать нечеткие хэши, например ssdeep

Answer 4

[Владимир Куц]

Опеределитесь со значением "похожие".
Похожие по смыслу и похожие за вычетом, скажем, - количества пробелов - это разные вещи....
Хеш-суммами вы можете только точные совпадения определить.

Answer 5

[vaut]

Хеш суммы можно считать с помощью md5sum (быстрый но возможны коллизии) и sha256sum (считается надежным). Есть и другие реализованные алгоритмы но их обычно не используют.
Одинаковая хеш сумма только при полном совпадении файлов: один измененный бит и хеш сумма совершенно другая. У md5 возможны коллизии (два файла соответствуют одному хешу), но шанс на это нарваться исчезающе мал.
На баше это можно сделать примерно так:

find -name  "*txt" -exec sha256sum {} \; | sort | uniq -D -w 65