Как найти различающиеся по хэшу файлы в двух директориях с вложенными директориями?

Question

[Drovosek01]

Есть 2 папки в них есть файлы и подпапки. Некоторые файлы совпадают по названию, но, возможно не совпадают по имени. Так же возможно есть файлы в одной или обоих подпапках, которые не встречаются в другой папке.

Нужно сравнить (по хэшу или как-то по-другому) все файлы в 2 папках и вложенных папках и узнать какие из файлов отличаются (и желательно какие из файлов не повторяются).

Есть ли ПО, которое может это сделать или bash скрипт или что-то подобное?

Comments

[Армянское Радио]

курить опции rsync, он такое может

[SVM]

Фокс Йовович,
точно, как я такое забыл???
да патамучта не пользовал
тру линуксоиды живут без бэкапа))) (дома)

[Drovosek01]

Фокс Йовович, спасибо, посмотрю, а есть ли какие-нибудь альтернативы? Желательно кроссплатформенные или хотя бы для винды, потому что в gitbash, увы, нет rsync.

[pumpkinm]

Drovosek01, я пару месяцев назад писал похожий скриптик: сравнивает сначала размер и дату, если они совпадают, тогда еще дополнительно сравнивает хэши. Но оно на на VBS и, соответственно, Windows-only.

[Drovosek01]

pumpkinm, могли бы вы им поделиться, если не сложно?

[wisgest]

тогда еще дополнительно сравнивает хэши

pumpkinm, а откуда он их берёт.

Answer 1

[Сергей c0re]

под Windows : Total Commander, Unreal Commander, Double Commander
под Linux: Double Commander
функция - Команды - Синхронизировать каталоги (как-то так)
mc и far вроде так же умеют сравнивать каталоги.

скрипт лучше всего наверно написать на python (есть на любой ОС, хотя на любителя), взять за пример выше на VBS (честно не вчитывался) либо по своему написать, имхо - заносить хеши файлов в массив, затем сравнивать (ну как-то так)
на bash предполагаю будет жутким извращением, хотя думаю что возможно.
PS: в bash все равно не обойтись чистым bash, потребуется как минимум одна внешняя команда md5sum , которой в Windows скорее всего не будет и надо будет искать ее порт под Windows или аналог. Так же есть diff , который можно было бы использовать, но это опять же не встроенная в bash команда.

так же
GTBACKUP

по rSync:
поиск вообще пробовали? rsync windows
cwRsync
https://habr.com/ru/sandbox/48269/

https://rsync.samba.org/

либо даже Cygwin со всеми соответствующими плюшками.
хотя, в Windows 10 есть целая подсистема Linux - WSL

Answer 2

[SVM]

ну для начала отфильтруй хотя бы по размеру,
потом уже, из меньшей кучи, сравнивай.
md5 быстро работает(man md5sum), если у тебя файлов не 100500 мильёнов )))

Comments

[Drovosek01]

Насколько я знаю, эта команда вычисляет md5 для 1 переданного в нее файла или простого текста.
Вы предлагаете мне для каждого файла отдельно вычислять хэш, а потом еще самому сравнивать?

[SVM]

Drovosek01,
а как вы по другому представляете сравнение?
лишний пробел или таб = много значит(не везде конечо,
но тем не менее
на днях, я не мог закомпилить код, т.к. там(при копипасте, вместо табов , были пробелы

[Drovosek01]

SOTVM, как я это представляю я описал в теле поста, а именно

Нужно сравнить (по хэшу или как-то по-другому) все файлы с одинаковым именем в 2 папках и вложенных папках и узнать какие из файлов отличаются (и желательно какие из файлов не повторяются).

Предполагаю, что это будет происходить автоматически, а не я буду делать вручную для каждого файла отдельно.

[SVM]

Drovosek01,
в чём проблема то?
ты даже не пытался это решить
алгоритм тебе выдали
чего не понятно?
запустить в цикле ?

[Drovosek01]

SOTVM, проблема в том, что файлов много.
Как для каждого отдельного файла находить хэш сумму я знаю, но вопрос в другом.

Если вам нравится работать руками, наверное вы не тот форум посещаете.

[wisgest]

В чём преимущество в сравнении контрольных сумм, а не самих файлов, только если не контрольная сумма для одного из файлов известна заранее.

[SVM]

wisgest,
ни в чём, т.к.
это одно и тоже
пользует ту же самую функцию

[Drovosek01]

wisgest, что вы имеете ввиду под сравнением "самих файлов"? Побайтовое сравнением?

[wisgest]

Drovosek01, именно. Ведь чтобы вычислить контрольную сумму файл тоже надо побайтово обработать, причём по более сложному алгоритму.

[Drovosek01]

wisgest, потому что я слышал, что сравнение по хэш суммам быстрее, чем побайтовое сравнение.
Если есть другие варианты я тоже готов их рассмотреть.

[wisgest]

Drovosek01, конечно быстрее, если сумма известна заранее, например, если надо сравнить один файл со множеством других, то можно посчитать и запомнить для него контрольную сумму. Если вычислять заново перед каждым сравнением, то медленнее.

Answer 3

[FAN2 tom]

Total Commander умеет сравнивать каталоги. Так же там есть функционал "отобразить все файлы без каталогов". Как вариант, алгоритм следующий:
1. Выбираешь нужную папку с подпапками на одной панели и применяешь команду "отобразить все файлы без каталогов".
2. На второй панели проделываешь со второй папкой тоже.
3. Выбираешь команду "сравнивать каталоги".
Сравнение примитивное (не по хешам) и могут быть разные нюансы, так что это подходит для грубого сравнения.

Comments

[AUser0]

В Total Commander-е есть и полное сравнение по содержимому, с удобрым просмотром сразу обоих файлов с подсветкой различающихся строк.