Как предотвратить появление битых файлов?

Question

[Drovosek01]

Купил примерно в 2021 году жесткий диск Western Digital Ultrastar DC HC330 (WDC WUS721010ALE6L4) на 10 ТБ под домашнюю файлопомойку.
Это серверный HDD, как я понял, думал раз он серверный значит должен быть надежным.

Я отформатировал его весь в NTFS и изначально он был подключен по SATA 2 и чтение и запись на него происходили как из Windows так и из macOS.
Файлы записывались на него разные, как маленькие текстовые, так и .zip архивы по 10-15 ГБ.

Примерно через год заметил, что при открытии некоторых текстовых Mardown файлов с этого HDD они не открываются. Попытался открыть их в hex-редакторе и в расшифровке байт там аброкадабра.
Я подумал что это какой-то косяк драйвера NTFS в Paragon NTFS и сделал, чтобы этот HDD монтировался только на чтение в macOS.
Потом выполнил в командной строке chkdsk D: /f /offlinescanandfix и нашлись и исправились какие-то ошибки.

Потом сменил платформу на китайскую x99 и HDD подключен через SATA 3. Записываю и считываю файлы только из под Windows 10 и сейчас снова столкнулся с тем, что .md файл, который я закинул на HDD неделю назад - стал битым.
С Markdown файлами работаю в VSCode.

Crystal Disk Info ошибок, вроде бы, не показывает:


Вопросы:
1. Почему появляются битый файлы на этом HDD?
2. Как предотвратить появление битых файлов на HDD?

Comments

[Norco-77]

Странно, диск отработал совсем ничего, а циклов включения / выключения - 2317, многовато, вы ПК выключаете что ли или в сон .

[Drovosek01]

Norco-77, HDD подключен к моему ПК, а ПК включаю/выключаю почти каждый день.
Бывает по нескольку раз в день, но не всегда

[RStarun]

Маловероятно что у вас проблема с HDD. 5 переназначенных секторов не должны были так повлиять на данные. Есть стандартизированный показатель - вероятность ошибки с потерей данных. Он указан в ттх диска в документации. По нему можно посчитать вероятность получения ошибки чтения файла в 10 гб. Это если сжатие архива и установленная файловая система не смогут скорректировать поврежденные данные, а они обычно могут.

В винде попробуйте отключить "кеширование для этого устройства". Будет медленно, но надежнее.

И вы написали что у вас какая-то китайсборка винды. Это наталкивает на определенные мысли.

[Drovosek01]

RStarun, Windows у меня оригинальная с MSDN.
Китайсборка ПК на платформе x99 с китайской материнской платой и процессором Xeon, оба с aliexpress...

Answer 1

[rPman]

Переназначенные сектора raw значение 0, значит по smart диск здоровый и высокая вероятность что проблемы с данными - логические.

Постоянная смена windows <-> другая операционная система чревата проблемами из-за windows.
Начиная с windows 8 в ней по умолчанию включен режим гибернации - запись оперативной памяти на диск для моментального ее восстановления после включения, даже когда пользователь выбирает выключение компьютера или перезагрузку, при включенном файле гибернации происходит следующее - завершаются процессы пользователя и делается гибернация (на самом деле там сложнее, зависит от необходимости служебной перезагрузки после обновления например), при включении соответственно система моментально восстанавливает оперативную память и переходит к запуску пользовательской сессии.

Именно этим они достигли такой высокой скорости запуска системы.

Как результат - файловая система при выключении компьютера может находиться в неконсистентном состоянии, не сброшены кеши, не закрыты дескрипторы и не сброшены буфера файлов. Если в таком состоянии к диску полезет (на запись) другая установка ОС (не важно, linux/mac или другой windows) то возможна ситуация, когда логическая структура файлов на диске будет повреждена (это показывает тот факт что чекдиск у тебя уже находил проблемы).

Ситуация не абстрактна, такое случается у многих постоянно (только почему то люди начинают винить linux типа он неправильно файлы пишет).

Решается отключением файла гибернации (как результат медленное включение windows) командой в cmd.exe под правами администратора:
powercfg.exe /hibernate off
После можно файл hiberfil.sys удалить вручную

p.s. логические ошибки файловой системы коварная штука, могут годами быть в файловой системе и не мешать (полный чекдиск не запускается сам) но зато потом так 'выстрелит', мало не покажется.
Очень большие шансы что у тебя именно это и случилось

Comments

[Drovosek01]

Большое спасибо за развернутый ответ!

Судя по тому, что после запуска Windows у меня открывались в Проводнике те же папки/окна, которые были открыты ранее, то гибернация как раз таки работает.

Неоднократно бывали случаи, когда компьютер выключался моментально (как из-за перебоев с электричеством, так и, вероятно приколы китай-сборки) и я из моментально отключенной Windows запускал macOS.

Вообще изначально проблема с HDD началась в том, что доступ к диску был очень долгий как из macOS, так и из Windows. Просто открывал единственный раздел HDD и перемещался по папкам внутри и они открывались очень очень долго. После этого и выполнил chkdsk

===

Подскажите, если поменять файловую систему на HDD с NTFS на exFAT или какаю-либо другую, это решит проблему? То есть, есть какая-либо файловая система более устойчивая к "кривому" завершению работы и не будет портить данные?

====

Вы написали, что при гибернации система моментально восстанавливает ОЗУ из накопителя и переходит к запуску сессии.
Я явно что-то не понимаю, ведь при обычном запуске Windows она, вероятно, копирует свои системные файлы из системных папок, а не выполняет супер процессорно-затратные процедуры по генерации этих файлов, то копирование только системных файлов Windows, а не вообще файлов всех ранее работавших программ будет быстрее.
Соответственно просто запуск системы будет более моментальный, чем запуск после гибернации, как мне кажется. Я же правильно понимаю?

[Drovosek01]

UPDATE:
Выяснил, появление папок Проводника зависит от настроек Проводника, а не от Гибернации.

Гибернация на моей китай-сборке вообще недоступна и, вероятно, не работает и файла hiberfil нет в системе.

[rPman]

еще раз - гибернация это сохранение оперативной памяти и состояний всех устройств на диске, таким образом, чтобы при следующем включении, все это можно было восстановить на скорости линейного чтения файла hiberfil.sys, размер которого сравним с объемом оперативной памяти (что для современных ssd считанные секунды), в этом режиме время больше тратится на восстановление состояния устройств (например загрузка содержимого памяти gpu) чем на собственно работу с диском.

Гибернация доступна пользователю, если ее выполнить с запущенными приложениями, она в 99% случаев корректно отработает и при следующем включении моментально восстановит эти запущенные приложения (буквально, а не симуляцией через повторный запуск с того же места, это видно к примеру по не сохраненным документам или к примеру в компьютерных играх).

Я в ответе говорил что тот же механизм используется майкрософт чтобы скрытно для пользователя ускорить запуск системы, только в этом режиме пользовательские приложения закрываются точно так же как это ожидается от обычного выключения.

p.s. так как при включенной гибернации рушатся файловые системы (при доступе к ним вне изначальной ОС), то не важно какая там файловая система, exfat или ntfs. НО, в настройках диска можно отключить кеширование записи (в разное время майкрософт убирала эту возможность и снова возвращала) - там это называется стратегия кеширования, в этом режиме запись на диск становится заметно медленнее (почти незаметно для ssd но в несколько раз для hdd) но в этом случае вероятность получить поврежденные файлы сильно падает (такой диск можно даже на живую извлекать из компьютера безопасно, что и делают некоторые с флешками и внешними дисками, настройка сохраняется для каждого устройства в отдельности)

p.p.s. если это не гибернация, то я хз что это такое, может какая то особенность китайской сборки?