Сколько жрет NTFS? И как ей пользоваться?

Question

[mirosas]

Сейчас по чуть-чуть пишутся на SSD диск 4 млн файлов, все в одну папочку. Само содержимое файлов будет весить примерно 80 гигов в сумме.

Хотелось бы понять, а сколько будет сожрано сверху этих 80 гигов? Ну понятно, что для упаковки по кластерам будет сожрано примерно 8Гб. Но там же у каждого файла целая куча свойств, и имя, и дата создания, и права.. И все это где-то хранится, и возможно дублируется.. А еще винда чего-то индексирует наверное..

А ежели представить, что у меня чистый 500Гб диск, и я хочу его забить 3-4кб файлами.. То вообще сколько их туда влезет, если файловая система NTFS?

Comments

[NewDevLab]

Если есть возможность, то не писать все файлы в одну папку, делать вложенные папки по первым символам имен файлов. /aaa /aab и т.д. Глубина вложенности от 1 до N.

[NewDevLab]

и да, если скорость выборки не очень важна, то размер кластера можно установить в 4К. аватарки хранить будете?

[mirosas]

NewDevLab, сейчас 800 тысяч файлов, FAR открывает папку где-то секунд 5. Если будет открывать в 5 раз дольше, то норм. Скорость выборки значение имеет (данные будут прочитаны 3-4 раза, после чего удалены). Хранятся там зазипованные html странички. Через пару недель удалю их.

У меня просто есть опасения, вдруг NTFS крашнется, от 4 млн файлов объемом 80гб в сумме, если до их залития на диске было лишь 120Гб свободно (+40гб неразмечено под нужды контроллера ssd-ника).

Answer 1

[dollar]

А вы откройте свойства папки и посмотрите.

Пример в винде

Также можете сделать меньше размер кластера при форматировании, если у вас очень много мелких файлов.

Пример в винде

P.S. Странно, что вас при этом не интересует износ диска и все хитрости под капотом с этим связанные.

Также есть тонкость, которая заключается в уменьшении скорости доступа к файлам, если их слишком много в одной папке.

Ещё есть тонкость, что на NTFS дисках минимум 12% места желательно держать свободными, это тоже влияет на скорость. А в случае SSD лучше ещё больше места оставлять незанятым.

Comments

[mirosas]

А вот этих 12% оставленных свободными, их хватит NTFS если остальные 88% забить файлами по 3-4кб на кластерах по 4кб? С учетом, что NTFS для каждого файла хранит кучу информации о правах, плюс стандартную по времени, имени, и прочему.

Мне кажется этот параметр "на диске" он отображает лишь размер самих файлов на диске? А вот информацию о правах на файлы, о их свойствах, там не учтена? p.s. Что-то винда не дает пока что посмотреть, наверное процесс записи мешает.

О.. а если есть время, расскажите подробнее про тонкости доступа к файлам, если их слишком много в одной папке? Весьма интересно)). Просто когда у меня был HDD, я программными ухищреними 10-1000 файлов сливал в один (в оперативке), и только после этого писал их на диск, поэтому более 10-100 тысяч файлов в папках не лежало. А с SSD перестал тратить время на излешнее усложнение программного кода.

Насчет кластера, не уверен, но кажется 4кб размер у него и стоит.

Износ диска после того, как я вернул в магазин WD, и поставил Samsung меня не особо волнует. Я посчитал, с моей манерой использования, я выработаю паспортный ресурс через 30-50 лет, а протестированный какими-то ребятами тестирующими диски на ресурс записи, лет через 300-500. Скорее за 30-50 лет блок питания сожгет компонеты, или окислится что-нибудь, чем сами ячейки деградируют. А 300-500, увы, я и сам не проживу((.

Answer 2

[Boris Köln]

Зависит от размера кластера. По умолчанию он 4 кБ.
Плюс FAT-таблица.
В общем закладывайте диск минимум в 1.5-2 раза больше, чем чистый размер контента 3-4 кбайтный файлов.

Если места диска не хватит, можно:
1. уменьшить размер кластера
2. включить компрессию на уровне ОС
3. самостоятельно архивировать много файлов в один (даже если они не жмутся, то все равно будет хорошая экономия за счет полного использования кластера)
Но все эти варианты немного замедляют скорость работы.

Comments

[mirosas]

FAT таблица в NTFS ? А она может расти как угодно вширь?

В 1.5-2 раза больше это вот как вы взяли.. из личного опыта, упершись в ограничения, или из теоретического поинмания сколько занимает инфомрация о файле в ntfs? Я вообще сомневаюсь в способности NTFS вырасти более чем до 12% диска, и как итог ожидаю возможный краш, если забивать файлами по 3-4кб.

Кластер 4 кб вроде и так минимальный, и равен размеру сектора.
Компрессия на уровне ОС в моем случае ничего не даст, поскольку все данные и так сжаты
Самостоятельно много файлов в один я делал когда был HDD, из-за слишком большого времени доступа. С SSD только сжимаю, но по одному. Понятно что экономия тут есть и на кластерах и на информации о файлах, но делать этого без необходимости не хочется.

[Boris Köln]

mirosas, в чем сложность взять и проверить? Это будет быстрее, чем написать сюда несколько абзацев текста.