Куда делось место в пустом каталоге и как его увидеть?

Question

[Ярослав]

(см дополнение внизу, ситуация стала проще и загадочнее )

Случайно заметил, что у меня один из почти пустых каталогов (всего 5 файлов, максимальный размер файла 254 байта, суммарно весят 528 байт, 8 каталогов) - но каталог по du весит аж 2.8 мегабайта. Рутовая файловая система, ext4. Пустяковый размер, но интересно, откуда такой дикий оверхед? (про размер кластера я в курсе, если что, но этим не могу объяснить феномен)

xenon@braconnier:~/locker-apps/test/users-OLD$ du -sh
2.8M	.

xenon@braconnier:~/locker-apps/test/users-OLD$ ls -al
total 2768
drwxr-xr-x 1 xenon xenon 2813952 Feb 11 20:49 .
drwxr-xr-x 6 xenon xenon    4096 Feb 10 22:52 ..
drwxr-xr-x 5 xenon xenon    4096 Jan 15 01:39 a
drwxr-xr-x 5 xenon xenon    4096 Feb 10 22:21 b

xenon@braconnier:~/locker-apps/test/users-OLD$ du -sh a
32K	a

xenon@braconnier:~/locker-apps/test/users-OLD$ du -sh b
20K	b

xenon@braconnier:~/locker-apps/test/users-OLD$ tree -h
.
|-- [4.0K]  a
|   |-- [4.0K]  r
|   |   |-- [ 254]  userinfo.json
|   |   `-- [ 254]  userinfo_create.json
|   |-- [4.0K]  rw
|   |   |-- [  10]  notebook.txt
|   |   `-- [   5]  test.txt
|   `-- [4.0K]  s
`-- [4.0K]  b
    |-- [4.0K]  r
    |-- [4.0K]  rw
    |   `-- [   5]  notebook.txt
    `-- [4.0K]  s

8 directories, 5 files

То есть, место теряется где-то внутри самого users-OLD. Каждый из двух вложенных каталогов весит мало. Пробовал `cp -a users-OLD /tmp/` и в таком случае новый каталог уже весит 56K (тоже как-то многовато, но меньше):

xenon@braconnier:~/locker-apps/test$ cp -a users-OLD/ /tmp/
xenon@braconnier:~/locker-apps/test$ du -sh /tmp/users-OLD/
56K	/tmp/users-OLD/

Как можно увидеть, куда уходит ~2,8Mb?

Дополнение:
Удалил оба подкаталога, теперь у меня один пустой каталог и он вести 2.7Mb

xenon@braconnier:~/locker-apps/test/users-OLD$ ls -al
total 2760
drwxr-xr-x 1 xenon xenon 2813952 Feb 11 22:22 .
drwxr-xr-x 6 xenon xenon    4096 Feb 10 22:52 ..
xenon@braconnier:~/locker-apps/test/users-OLD$ du 
2756	.
xenon@braconnier:~/locker-apps/test/users-OLD$ du --apparent-size
2748	.

Answer 1

[Lynn «Кофеман»]

Судя по строке
drwxr-xr-x 1 xenon xenon 2813952 Feb 11 20:49 .
в этом каталоге в какой-то момент было очень много (тысячи) файлов.

В ext2/3/4 каталог это такой «специальный файл» в котором записаны имена (и ещё что-то) содержащихся в нём файлов. И если их много, то и сам каталог будет большим. Но при этом механизма уменьшения размера каталога не предусмотрено.
Стандартный вариант, скопировать все файлы из него в новый каталог, удалить этот и переместить новый на его место.

Comments

[Ярослав]

Вполне могло быть. Я как-то тестил, как будет себя вести прога на большом объеме файлов и может быть на этом каталоге тестил.

Нет механизма уменьшения, а есть механизм ре-юзания этого места? (то есть, если я создам снова там 100 000 файлов - они в тех же 2.8Mb будут размещаться?

[Lynn «Кофеман»]

Ярослав, да, они будут там же пока влезают.

Answer 2

[zersh]

возможно из каталога был удалён файл, который продолжает держать приложение?
попробуй

lsof | grep delete

найденный процесс - прибить/перезапустить

Comments

[Ярослав]

Увы, не то. Проверил процессы и даже перезапустил комп - по прежнему 2.8Mb

Answer 3

[Дмитрий]

Посмотрите вывод команды
lsof | grep '(deleted)'
Возможно файлы в каталоге были удалены, но при этом они фактически еще используются каким-то приложением и поэтому занимают место на диске.

Comments

[Ярослав]

К сожалению, не то - "проблема" осталась даже после перезагрузки.

xenon@braconnier:~/locker-apps/test/users-OLD$ du -sh .
2,8M	.
xenon@braconnier:~/locker-apps/test/users-OLD$ uptime 
 21:46:34 up 4 min,  1 user,  load average: 0,93, 0,54, 0,23

[Дмитрий]

Ярослав, вот что нашлось:
https://unix.stackexchange.com/questions/86985/why...
После удаления файлов из каталога в EXT4 он все равно продолжает занимать место на диске, которое требовалось для сохранения структур с информацией файлах, и команда du показывает это место. Чтобы она считала фактически используемое место, нужно запускать ее с ключём --apparent-size

[Ярослав]

Дмитрий, вышло незначительно меньше:

xenon@braconnier:~/locker-apps/test/users-OLD$ du
4	./b/s
4	./b/r
8	./b/rw
20	./b
4	./a/s
12	./a/r
12	./a/rw
32	./a
2808	.
xenon@braconnier:~/locker-apps/test/users-OLD$ du --apparent-size
4	./b/s
4	./b/r
5	./b/rw
17	./b
4	./a/s
5	./a/r
5	./a/rw
17	./a
2781	.

[Ярослав]

Я все таки не выдержал и удалил оба подкаталога, "a" и "b", теперь загадочный users-OLD полностью пустой и весит 2.7Mb (дополнил вопрос этой информацией)

Answer 4

[Виктор Таран]

ncdu поставь

Comments

[Ярослав]

Стоит.

xenon@braconnier:~/locker-apps/test/users-OLD$ ncdu -o /tmp/ncdu.txt

xenon@braconnier:~/locker-apps/test/users-OLD$ cat /tmp/ncdu.txt 
[1,1,{"progname":"ncdu","progver":"1.13","timestamp":1613057959},
[{"name":"/home/xenon/locker-apps/test/users-OLD","asize":2813952,"dsize":2822144,"dev":2049,"ino":11015050}]]xenon@braconnier:~/locker-apps/test/users-OLD$

[Ярослав]

если в ncurses интерфейсе смотреть, то users-OLD показывается с буквой "e":

--- /home/xenon/locker-apps/test --------------------------------------------------------------------
e   2.7 MiB [##########] /users-OLD