Как скопировать директорию со всеми подпапками сверяя контрольную сумму для каждого файла?

Question

[Александр]

Приветствую, друзья!

Подскажите, пожалуйста, как скопировать директорию со всеми подпапками сверяя контрольную сумму для каждого скопированного файла? Работа по Win.

Comments

[xotkot]

если нужен контроль надежности переноса то может проще воспользоваться специализированной утилитой rsync ?

Answer 1

[Евгений]

Для решения вашей задачи рекомендую использовать Powershell.
Накидал вот такой скрипт, думаю он вам поможет.

$OldFolder = "C:\Temp" #папка с исходными файлами
$NewFolder = "C:\test\test" # папка куда будут копироваться файлы
$files = Get-ChildItem $OldFolder -File -Recurse
foreach ($file in $files )
{
$folder = "$NewFolder$(Split-Path $file.DirectoryName -NoQualifier)"
if (-not (Test-Path $folder)) {New-Item $folder -Force -ItemType Directory}
Copy-Item $file.fullname $folder -Force
$MD5 = Get-FileHash -Path $file.fullname -Algorithm MD5
$MD5New = Get-FileHash -Path "$folder\$file" -Algorithm MD5
if ($MD5.Hash -ne $MD5New.Hash)
{Write-Host "Внимание!!! Хэш нового файла $folder\$file не соответствует исходному!!!" -ForegroundColor Red
Read-host "Нажмите Enter чтобы продолжить"
}
}

Answer 2

[wisgest]

Контрольные суммы для каждого файла уже вычислены и где-то хранятся? Нет? Вы хотите их рассчитывать на ходу? Это лишняя работа. Проще сравнивать источник с копией. Обратите внимание на ключ /V утилиты XCOPY.

Comments

[azarij]

бытует расхожее мнение, что ключ /V в XCOPY бесполезен из-за наличия кэша на диске. ключ сравнивает размеры оригинала и копии, но вероятность того, что файл был уже записан на сам диск из кэша достаточно мала. и получается, что ключ чаще всего проверяет правильно ли записался файл в дисковый кэш, а не на диск. на критических данных это может быть чревато.

[wisgest]

azarij, ну хоть бы ссылку на «расхожее мнение» привели.

Официальная справка:

/v
Проверяет каждый скопированный файл на соответствие его оригиналу.

[azarij]

да, ступил. вот ссылка https://devblogs.microsoft.com/oldnewthing/2016012...

[azarij]

кто-то пишет, что в версиях выше винХР этот ключ не делает ничего и остался там только для обратной совместимости...
https://www.lifewire.com/xcopy-command-2618103

Answer 3

[azarij]

у меня вот так получилось. пошловато местами и паузу по обнаружении несходяшихся хэшей я честно стащил у Евгения. если будете пользоваться, протестируйте сначала на датасете, который готовы потерять. ;)

$source_path = "D:\TOOLS"
$destination_path = "E:\TOOLS"

Copy-Item -Path "$source_path\*" -Recurse -Destination $destination_path -Force

$source_path_list = Get-ChildItem $source_path -Force -File -Recurse


$problematic_files = $null
foreach($file in $source_path_list)
{
      
    $source_filehash = Get-FileHash -Algorithm MD5 $file.FullName #тут была ошибка
    $destination_filehash = Get-FileHash -Algorithm MD5 ($file.FullName -replace "^D:","E:") #вот так делать просто низко!

    if($source_filehash.Hash -eq $destination_filehash.Hash)
    {

        write-host $file.FullName -ForegroundColor Green
    }
    else
   {
        write-host "Source and destination hashes for $($file.FullName) do not match!" -ForegroundColor Red
        Read-host "Нажмите Enter чтобы продолжить"
        $problematic_files += $file.FullName
    }


}

"Problematic files detected: $problematic_files"

а еще, есть такая штука ххкопи. она может побитово сверять скопированное. может занять очень много времени на больших датасетах.
xxcopy.com/xxtb_027.htm#tag_319

Comments

[Евгений]

Хмм...что-то проверка по хэшу у вас не работает
В строчке $source_filehash = Get-FileHash -Algorithm MD5 $file
в конце надо вместо $file использовать $file.fullname

[azarij]

да, вы правы. я в get-filehash совал весь файловый объект. видно уровень пива в организме еще не достиг пика Балмера. исправил.
хотя, на большинстве файлов оно и так работало и находило, тот файл, что я изменил...

...
D:\TOOLS\TOOLS.lnk
D:\TOOLS\U.lnk
D:\TOOLS\Us.lnk
D:\TOOLS\VaultPasswordView.cfg
D:\TOOLS\VaultPasswordView.exe
D:\TOOLS\VeeamAgentWindows_2.1.0.423.zip
D:\TOOLS\WinDiff.Exe
D:\TOOLS\WinDump.exe
D:\TOOLS\WinSCP.exe
Source and destination hashes for D:\TOOLS\WinSCP.ini do not match!
Нажмите Enter чтобы продолжить: 
D:\TOOLS\Beyond Compare 2\BC2.chm
D:\TOOLS\Beyond Compare 2\BC2.exe
D:\TOOLS\Beyond Compare 2\BC2.hlp
D:\TOOLS\Beyond Compare 2\BC2.key
D:\TOOLS\Beyond Compare 2\BCQC.exe
D:\TOOLS\Beyond Compare 2\BCQC_ReadMe.txt
D:\TOOLS\Beyond Compare 2\BCShellEx.dll
...