Удалить байты из файла без его полной перезаписи можно только с конца?

Question

[martensit]

Правильно? или из середины тоже можно удалить, не перезаписывая файл?
Если наш файл гигабайты весит.

Comments

[stratosmi]

https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D0%BF%D...

Answer 1

[res2001]

Вы можете не перезаписывать весь файл, а только кусок с хвоста, который останется после удаления из середины данных. Для обрезания размера файла с конца в современных ОС есть соответствующие механизмы.
Если же вам нужно удалить в большом файле несколько байт в начале, то придется перезаписать весь файл.
Для того что бы не перезаписывать большие объемы информации многие файлы внутри имеют блочную структуру (например файлы баз данных), тогда можно помечать весь блок как удаленный, при этом сам блок из файла не освобождается и не перезаписывается, но приложение знает, что он пустой и его можно будет повторно использовать при необходимости. Этот функционал вы должны сами запрограммировать в своем приложении - операционная система за вас это не сделает. При этом когда злобный админ будет делать shrink базы данных эти пустые блоки будут физически удалены из базы.

Блочная запись на диск и copy-on-write - это все верно, но находится на уровне дискового драйвера (а copy-on-write - это вообще даже не драйвер, а прошивка контроллера диска). При этом дисковый драйвер и контроллер диска ничего не знают про файлы, они работают с секторами, блоками и т.п.
Пользовательская программа, работая с файлами, обычно, не опускается на такой низкий уровень, а потому не может управлять подобными операциями.

Comments

[АртемЪ]

Если же вам нужно удалить в большом файле несколько байт в начале, то придется перезаписать весь файл.

Это почему?
Перезаписали кластер - файловая система его автоматом разместила в свободном месте.

Этот функционал вы должны сами запрограммировать в своем приложении - операционная система за вас это не сделает.

Это задача файловой системы размещать файлы. Пользователю тут ничего программировать не надо.

Блочная запись на диск и copy-on-write - это все верно, но находится на уровне дискового драйвера

То же самое находится и на уровне файловой системы.
А пользователю действительно ничего не нужно про это знать - за него все сделает ФС.

[res2001]

1.Типовая пользовательская программа не записывает кластера, она записывает Nое количество байт по такому то смещению в файл.
Чтоб удалить 1 байт из файла, нужно всю информацию после этого байта сдвинуть на 1 байт.
При этом какие механизмы внутри ОС и дискового контроллера включаются при записи - этого программа не знает и управлять ими не может.

2.Тут речь не о размещении файла, а о логическом разбиении файла на блоки. При этом куда конкретно на диске будет записан блок, это естественно решает ОС/ФС/контроллер диска.

Answer 2

[#]

философски все классно.. а где примеры C# кода то?
мне не известен способ, без перезаписи файла (если ОС умеет оптимизировать - хвала ей upd но.. назовите ее )))
а базовый набор инфы, к примеру тут - https://metanit.com/sharp/tutorial/5.4.php

ps в современных компах, при размерах файла в считанные мегабайты - это все мелочи

pps
- нужна синхронизация по блокам/кластерам, в теории - да, нет проблем, вот только не C#

ppps
в лучшем случае это будут вызовы api системы, но тогда повторюсь - примеры в студию, и я присоединюсь к аплодисментам

Comments

[АртемЪ]

Шарпер,

мне не известен способ, без перезаписи файла

Вы пишите приложения под "голое железо"?
Если нет - значит вы работаете с операционной системой, а уж она организовывает сама всю эту кухню.

Запись файла на диск это задача файловой системы - в каждой ФС все организовано по разному.
Но большинство известных мне ФС не перезаписывают файл - это же бессмысленная работа, производительность будет ниже плинтуса.
Если вам нужно поменять 2байта в начале файла размером 1500гигабайт - вы же не будете шесть часов переписывать полтора террабайта?
Просто будет заново записан один кластер размером как правило 4килобайта - тот самый в котором вы изменили данные.

По ссылке приведенной вами это взаимодействие с файловой системой через API - там не нужно думать что и куда записать, файловая система сама все это сделает.

[#]

АртемЪ, вы автор вопроса? .. или привели пример кода на C#

[#]

АртемЪ, если [внезапно] приведете пример C# кода - я только в копилку возьму

[#]

АртемЪ, ни че что у автора вопроса, первым тегом стоит C#?

[martensit]

АртемЪ, Шарпер, Поменять байты в любом месте большого файла проще некуда, Вопрос про удаление байтов из разных мест файла.

using (var file = File.Open("C:\\xxx", FileMode.Open, FileAccess.Write))
file.SetLength(file.Length - 12);

Вот например код мгновенного удаления 12 ти байтов с конца большого файла.
Как удалить лишние байты в середине или в начале файла средствами C# (именно без перезаписи оставшейся части) я к сожалению пока так и не нашел.

[#]

martensit, АртемЪ, о том и речь

ps любопытные эффекты, если случайно отвечаешь себе
мистеру АртемЪ я уже отправил по хабру, личное сообщение, с некоторыми мыслями

[#]

АртемЪ, я увлекся темой... и не нашел подтверждения, существования ФС, с неполным начальным кластером/сектором upd файла... (разумеется речь о файлах, пока что, все понятые мною ФС, подразумевают что каждый кластер/блок файла, использован полностью, за исключением последнего... а вот с крупными кластерами и мелкими файлами, да, есть попытки трамбовать в большой кластер)

буду благодарен, если просветите

[АртемЪ]

Шарпер, Не совсем понятно что такое неполный начальный кластер.

[#]

В большинстве известных систем без разницы - хоть с начала, хоть с конца удаляйте, никто файл полностью перезаписывать не будет.

... кхм... и на что же у нас делиться файл?

[#]

АртемЪ, сообщите мне об FS, которая позволяет удалить 12 байтов с головы файла... и как это все происходит?... вы правда думаете что файлы побайтово хранятся?

[#]

АртемЪ, ни че что у автора вопроса, в тегах и windows, и ntfs, и вы бодро беретесь отвечать на вопрос.... мягко говоря, очень философски

[#]

АртемЪ, все еще веселей

Вы поменяли часть файла - на диск в любое свободное место будут записаны кластеры которые изменились. В базе данных файловой системы изменятся координаты расположения файла.

слово кластер, вы так же бодро употребляете... а потом оно вас смущает?!..

Не совсем понятно что такое неполный начальный кластер.

не полным обычно бывает конечный кластер.. это норма для всех ФС..
но если вы удаляете из головы 12 байт... пусть кластер равен сектору (старый диск и ФС).. вы в серьез считаете, что будет где то пометка "начальный кластер не 512, а 500 байт"
... ткните меня носом, в такую инфу.. по любой ФС... (для ликбеза).. но в данном вопросе - в инфу что такое поведение поддерживается NTFS

[#]

АртемЪ,

Если вам нужно поменять 2байта в начале файла размером 1500гигабайт - вы же не будете шесть часов переписывать полтора террабайта?

вы сами, хоть одну программу написали? модифицирующую файлы?

Answer 3

[АртемЪ]

Вообще это зависит от файловой системы.
В большинстве известных систем без разницы - хоть с начала, хоть с конца удаляйте, никто файл полностью перезаписывать не будет.
То же самое и с добавлением - можете добавить хоть гигабайт в середину файла.
Сам файл зачем трогать?

В основном принцип такой-
Запись на диск идет блоками фиксированного размера - кластерами.
Это минимальная адресуемая единица файловой системы, размер кластера может быть разным, чаще всего 4килобайта.

Вы поменяли часть файла - на диск в любое свободное место будут записаны кластеры которые изменились. В базе данных файловой системы изменятся координаты расположения файла.

Comments

[martensit]

В NTFS можно с середины также удалять байты без перезаписи? Если файл 10 Гигабайт весит, это мгновенно можно сделать?

[АртемЪ]

martensit, Да.
Если вы удалили байты - в базе данных кластер который удален будет помечен как пустой, только и всего.
Если вы удалили не целый кластер, а всего лишь несколько байт - значит будет записан новый кластер без этих нескольких байт в любом свободном месте диска.
А старый кластер, где информация уже устарела будет помечен как пустой.
В итоге если вы удалили 1 байт - перезапишется 4 килобайта.
Если вы удалили 6 килобайт - перезапишется 8 килобайт.

[SagePtr]

martensit, при условии, что нужный для удаления блок имеет смещение, кратное размеру кластера и размер, кратный размеру кластера.

[АртемЪ]

SagePtr, Да какая разница? Даже если не кратный - просто на один кластер больше перезаписать придется.
В большинстве современных ФС работает принцип copy on write.
Т.е перезаписи как таковой нет - любые изменения записываются в новое место.

[АртемЪ]

Файловая система это по сути обычная база данных.
Так же и в БД - если вы удалите запись в середине БД - никто не будет в режиме реального времени сдвигать все записи находящиеся за ней.
Если бы так было - любое удаление занимало бы огромное время.
Просто в середине БД образуется дырка, пустое место.
Потом когда вся база станет очень дырявой, придет злой админ и сделает шринк.

[martensit]

АртемЪ, Если я только на SSD сижу "шринк" мне не нужен будет? Или это не связано с фрагментацией?

[АртемЪ]

martensit, Это файловая система - она не ничего не знает про физический диск и принципы его работы.
Файловая система может располагаться на HDD, на SSD, в оперативной памяти, на сетевом диске, на аппаратном хранилище, в файле, да где угодно.
Работать она будет одинаково.

Разумеется при работе по принципу copy on write возникает излишняя фрагментация - это не очень хорошо как для самой ФС, так и для физического носителя в плане быстродействия. Поэтому есть определенные механизмы для борьбы с излишней фрагментацией, ну и дефрагментация производится по расписанию.
На SSD дефрагментацию делать смысла нет потому что внутри у SSD по сути что-то вроде своей файловой системы - что бы вы не делали, а SSD все равно разместит данные так, как сам сочтет нужным.

Собственно из за этого был небольшой скандал по поводу того, что Windows 8 делала дефрагментацию SSD.
Объяснение простое- SSD дефрагментация не нужна, а файловую систему дефрагментировать надо, вот они и включали.

[#]

предлагаю:
- в любой ОС, берем файл гигов на *цать (какоенить кино высокого качества? почему нет?)
- открывает текстовым редактором (в любой ОС надется, текстовый редактор, который не побоится открыть тяжелую тушку)
- удаляем 12 знаков (ну ли 12 того, что редактор посчитает знаками, уверяю, 12 знаков юникода не спасут положение)
-... и засекаем время... в течении которого можно порассуждать, как данная ОС, вся в себе такая умная, все это оптимизирует

я ставлю на то, что времени для бесед будет куда больше чем "вжууууж"...

ps и вот только не надо валить на "тупость" текстовых редакторов..

[#]

martensit, все вроде верно, вот только ФС как БД - блочная..
иначе контроль целостности ФС стал бы ужасом по трудоемкости

[#]

martensit, шринк.. удаление... это как раз не проблемы - они ни в коей мере не противоречат блочной идеологии работы с устройством

тут нет задержек времени, только (upd) фрагментация (по существу избыточные записи в сией БД)

[#]

martensit, шринк - это тот пример кода, что вы привели

[#]

martensit, на SSD существует операция trim как бы аналог.. как бы на весь диск.. и смысл чуть чуть в другом

контроллер SSD пытается равномерно распределять количество записей по рабочему пространству (и запасу) с целью выравнивания срока жизни.. (опять же блоками)...

суть трим... да чего уж там - https://ru.wikipedia.org/wiki/TRIM
.. ну то есть слегка упростить его работу

[АртемЪ]

Шарпер,

ps и вот только не надо валить на "тупость" текстовых редакторов..

Там нет никакой тупости.
Текстовый редактор рассчитан на работу с мелкими файлами, и гораздо быстрее и эффективнее заново записать файл.

По поводу TRIM - его суть не в том чтобы упростить кому-то работу, а наоборот, чтобы добавить работы сборщику мусора.
Это просто информация об удаленных блоках которые ФС передает диску.

[#]

АртемЪ, так где же хваленая оптимизация ОС???

В большинстве известных систем без разницы - хоть с начала, хоть с конца удаляйте, никто файл полностью перезаписывать не будет.

[#]

АртемЪ, про trim понятно... с вами не стоит вообще.. ладно.. не будем
... только... что же делает злой админ:

Потом когда вся база станет очень дырявой, придет злой админ и сделает шринк.

ps сказать по правде современные ОС и ФС достаточно умны, что бы правильный админ, думал о другом... допустим о правильных бекапах
pps но это не меняет факта... что вы тут несете пургу

[АртемЪ]

Шарпер, Я говорю про работу файловой системы. Если ей поставлена задача изменить часть файла - она изменит.
В данном случае ей поставили задачу заново записать файл, что она и делает.
В большинстве случаев гораздо выгоднее приложению гораздо выгоднее перезаписать весь файл, чем устраивать катавасию с записью нескольких байт - банально быстрее.
Такая необходимость появляется при работе с большими файлами - и она есть.
Если чисто виндовыми инструментами - ставите указатель, и поехали.

[АртемЪ]

А что там про TRIM не так?