Занимаемое место на LVM меньше реального объема файлов. Как так?

Question

[Евгений Воробьев]

Имеется сервер с бекапами почты. На нем есть LVM том из одного диска, объемом 1ТБ.
На нем бекапы почты лежат:
drwxr-xr-x 3 root root 4096 окт 13 02:31 daily.0
drwxr-xr-x 3 root root 4096 окт 12 02:31 daily.1
.....
drwxr-xr-x 3 root root 4096 сен 22 02:33 weekly.2
drwxr-xr-x 3 root root 4096 сен 15 02:35 weekly.3

Если папки тупо копировать на другой раздел - общий объем переваливает за 700Гигов... и даже намного больше.
Хотя...
/dev/mapper/vmail--backup-lv1 916G 422G 448G 49% /vmail-backup

Как так?
Если смотреть занимаемый объем отдельными папками, то получается, что они "весят" по 200+ гигов каждая.. по крайней мере первые 4 точно, что уже переваливает за показанные выше 400 гигов.

Как так? Файлы в первых четырех папках одинаковые (на первый взгляд).

Comments

[Melkij]

Проверьте не хардлинками ли там неизменные между бекапами файлы сделаны. Ну и файловая система какая? Вдруг что-то со включенным сжатием.

[Евгений Воробьев]

Melkij, фс ext4 обычная (сжатия нет). Файлов больше 6млн... как то можно проверить хардлинки (всмысле быстро и одной командой)?

[Melkij]

find /path -type f -links +1

[Евгений Воробьев]

Melkij, да, вызвал эту команду и он стал выводить мне миллионы ссылок... бесконечно. Я понимаю что вы были правы. То есть для системы эти "ссылки" сейчас как обычные файл и их не различить при копировании? Как мне скопировать архивы почты, без дублирующихся данных?

[Денис Юрьев]

Евгений Воробьев, cp --preserve=links скопирует ссылки как ссылки, а не как файлы
Но это костыль в вакууме, ибо не известна структура копируемого.

[Melkij]

То есть как раз программа которая их копирует делает отдельные копии файлов, не обращая внимания хардлинки ли там были.
Я бы в сторону rsync --hard-links двинулся

[Евгений Воробьев]

Melkij, да, именно это же я и нашел. Спасибо за информацию)

Answer 1

[Олег Волков]

Файлы бывают sparse (дырявые). Простой пример:
$ dd if=/dev/zero of=11g-file bs=1024k count=1 seek=10240
1+0 records in
1+0 records out
1048576 bytes (1.0 MB, 1.0 MiB) copied, 0.002087 s, 502 MB/s
$ ls -lh 11g-file
-rw-rw-r-- 1 voleg voleg 11G Oct 13 20:45 11g-file
$ du -hs 11g-file
1.0M 11g-file