Как сравнить хеши множества файлов на разных компьютерах?

Question

[petrouv]

Один компьютер под управлением Windows XP, второй — Mac OS 10.8.5.
Есть некая файловая структура из множества файлов и папок.

Файлы переносятся с сохранением структуры директорий с первого компьютера на второй средствами TeamViewer.

Задача: проверить, что все данные были переданы без потерь.

Есть ли какое-либо решение, не включающее в себя написание скриптов?

Answer 1

[Rsa97]

Архивация (можно без сжатия) - перенос - разархивация.
Архиваторы сами считают контрольную сумму.

Comments

[petrouv]

Да, но там примерно 120 Гб данных. Выкачивать такой файл проблематично.

[Rsa97]

petrouv: Архив можно автоматически делить на части нужного размера. А если задача в периодической синхронизации файлов, то лучше всего Dropbox/Mega/Yandex Disk/Google Drive/iCloud/OneDrive, выбирайте на свой вкус.

Answer 2

[Виталий Пухов]

Не думаю, что разработчики TeamViewer настолько глупы, чтобы не предусмотреть этот момент и не проверять хэша автоматически, если же хочется с проверкой рекомендую глянуть BitTorrent Sync, там проверка хэша на уровне протокола заложена.

Comments

[petrouv]

Мне кажется, у TeamViewer есть проверка на размер файла — потому что он пропускает файлы совпадающие по имени и размеру, но делает это слишком быстро для того, чтобы я поверил в то, что он считает контрольные суммы по обе стороны. За BitTorrent Sync спасибо, посмотрю — не слышал про него. А скорость будет хорошая? А то Dropbox, к примеру, выглядит очень неторопливым.

[Виталий Пухов]

petrouv: скорость будет торрент, то есть ровно такая какую позволит провайдер, к слову не каждый провайдер дает нормальный торрент трафик, к примеру Yota еще в договоре указывает, что торрент трафик будет жестоко резаться.

[АртемЪ]

А зачем тимвьюверу считать контрольные суммы, если есть имя и размер?
BtSynk поможет передать файлы, и работает быстро, но задачу никаким образом не решит.

[Виталий Пухов]

Артем: Любой протокол передачи данных подразумевает проверку целостности, и размер и имя не являются критериями целостности, программисту нужно иметь лоботомию мозга, чтобы считать размер или имя таковыми. Не думаю что программисты TeamViewer смогли бы такое написать если бы у них были таки проблемы с головой. BtSync работает с блоками данных, и производит проверку целостности каждого блока, поэтому я и говорю что он решает задачу на уровне протокола, ему нет нужды строить чек сумму всего файла, т.к. во время передачи он уже проверял целостность каждого отдельного блока данного файла.

[АртемЪ]

Не любой протокол предполагает проверку целостности, например взять тот же фтп, где она там?
Тимвьювер так же просто тянет файл, и если какой то сбой, то файл может остаться недокачанным.
BtSync обеспечивает передачу данных.
А задача озвученная в вопросе - проверка переданных данных, на идентичность исходным. Он такого делать не умеет.

[Виталий Пухов]

Артем: любой нормальный может, ftp я таковым не считаю, btsync использует протокол bittorrent https://ru.wikipedia.org/wiki/BitTorrent_(%D0%BF%D1%80%D0%BE%D1%82%D0%BE%D0%BA%D0%BE%D0%BB)#BTIH_.28BitTorrent_Info_Hash.29 который использует hash Хеш (англ. hash) — SHA1 отдельных сегментов оригинальных файлов, перечисленных в словаре «info» .torrent-файла. Каждая часть после получения сначала проверяется на совпадение хеша. Если проверка не удалась, данные отбрасываются и запрашиваются ещё раз. в btsync вместо торрент файла используется magnet ссылка, по которой запрашиваются метаданные, такие же как и в торрент файле

[АртемЪ]

Виталий Пухов: Ну хэш то проверяется не файла, а отдельного чанка.
Поэтому чанки проверяются, а файл точно так же как и в фтп никак не проверяется.
Т.е так же может быть битый файл и в битторенте, протокол от этого никак не страхует.

[Виталий Пухов]

Артем: Если файл был битый изначально то битый и скачается это очевидно, протокол защищает от повреждения во время передачи, но не от того что ему подсунули. Даже и в таком случае чексумма всего файла вам ничем не поможет, т.к. у переданного и оригинала она будет одинаковая, вне зависимости как они повреждены. Повреждены они будут одинаково.

[petrouv]

Виталий Пухов: "Может быть битый файл и в битторенте" — это, вероятно, о том, что есть шанс получить в результате передачи битторентом битый файл, а не о том, что он исходник был битый. Кажется, Артем говорит верно: проверка чанков не гарантирует, что хеш-суммы оригинала и переданного файла совпадут — к примеру, из-за некорректной склейки. Хотя, конечно, вероятность получить побитый файл, похоже, сильно ниже, чем при отсутствии таких проверок.

Кстати, поддержка Team Viewer ответила следующее: "If you establish a file transfer, TeamViewer will open a separate event protocol and log when the transfer is finished or interrupted. Unfortunately we are only verifying if the transfer works and not if the data is correct".

Я когда задавал вопрос, скорее думал о некой утилите, которая может сгененировать лог по заданной директории на машине-источнике и с помощью этого лога верифицировать директорию на машине-приемнике.

[Виталий Пухов]

petrouv: не думаю что в этом есть необходимость, ошибки склейки могут быть только в результате аппаратных сбоев, с такими программными передача бы не могла работать в принципе. готовых утилит с таким функциналом для папок я не встречал, но написать дело 10 минут. Для одного файла они называются например md5 checker

Answer 3

[ton1]

в total commander есть синхронизация папок.
еще можно rsync натравить

Comments

[petrouv]

Total Commander не для Mac OS (хотя это еще можно как-то порешать). Она как работает? Хеши проверяет? Мне всегда казалось, что они в лучшем случае время создания файла сравнивают.

Про rsync я тоже думал. Но для него, кажется, нужен внешний ip хотя бы на одной машине.
А как его натравить лучше? Просто в dry mode с опцией проверки хешей и посмотреть на отчет?