Почему так неэкономно расходуется места на диске?

Question

[Игорь Махов]

Скопировал папку размером ~77ГБ из Windows(NTFS) на Linux(ext4). Там она занимает ~168ГБ на диске:

Возникает вопрос это баг или нормальная работа ext4?

Comments

[АртемЪ]

Что за папка? Какие данные в ней?

[Игорь Махов]

АртемЪ, Папка "Мои документы"

[Игорь]

погодите, а откуда у вас скриншот с размером папки?
и можно такойже с размером папки на ntfs?

[Игорь Махов]

Вот скрин папки на ntfs
А линуксовская папка у меня подключена как сетевой диск

Answer 1

[Saboteur]

Скорее всего проблема в ссылках и junction point-ах, которые в виндовс указывали на те же самые папки, а в Линукс каждая ссылка скопировала копию файла, у вас куча дубликатов теперь.

Comments

[Antonio Solo]

вендоузные ссылки будут обрабатываться только под вендой, а тут ведь копировалось наверное под линухом и они должны были быть скопированы как простые файлы? хотя под линухом косяк драйвера может какой ?

[Saboteur]

Antonio Solo, Зависит от того, чем копировать. Может будут использоваться линуксовые ссылки, или будут создаваться копии файлов.
кластера и блоки в последнее время что у винды что у линукса, по умолчанию 4 кб, так что вероятность потери такого большого процента объема вряд ли из-за этого.

Answer 2

[АртемЪ]

Для ответа на этот вопрос нужно больше информации.
Размер папок штука тонкая.

Скопировал папку размером ~77ГБ

Это размер данных в папке, или размер места на диске которое она занимала?
Это далеко не одно и тоже.
Папка содержащая 100Гб данных может занимать на диске 1гб, и наоборот, папка содержащая 1гб данных на диске может занимать и 100Гб.

Comments

[Игорь Махов]

В Windows она на диске занимала ровно столько же (77Гб)

[pfg21]

на нтфс несколько папок были "переброшены" в другое место с помощью софтлинков, при копировании содержимое папок скопировалось без создания взаимосвязей.
или хардлинки с файлами или еще что подобное.
из личного опыта копирования.

[АртемЪ]

Игорь Махов, Как вы это определили? Вот в чем вопрос.
Проводник по большей части неправильно показывает место на диске.

Хардлинки, дедупликация, размер кластера, потоки - все это влияет на размер, и проводник не всегда умеет с этим работать.

Answer 3

[Antonio Solo]

потому что диск "кватнуется" кластерами, и файл размером 1 байт реально занимает размер равный размеру кластера (4 ... 8 ... 16 ... Kb)
если у тебя много-много мелких файлов - используй какую-нибудь компрессию

Comments

[Антон Киселёв]

ну не может же быть разница в 2.2 раза же?

[Виктор]

zamboga, ну почему же... Вон автор ответа привёл же пример, когда 1 байт занимает место 16-килобайтного кластера. А это не 2,2 раза, а 16000 раз.

[Игорь Махов]

Только что попробовал: создал 18 файлов, каждый размером 1кб (1024 символа). Вот результат:

[Антон Киселёв]

Antonio Solo, Виктор, Игорь Махов, это все я знаю, и про размеры кластеров тоже. Искусственно нагенерировать можно что угодно.
Я не могу придумать реальный жизненный пример, где информация будет хранится в условном миллионе условно текстовых файлов. Распределенная БД?=)