Как подсчитывать объем папки в реальном времени?

Question

[Михаил Zhukov]

Здравствуйте.

Есть несколько директорий, где тысячи файлов. При использовании du с разными ключами, так или иначе, приходится ждать до конца отработки. Это неудобно, так как в винде система начнет считать объем и количество файлов в реальном времени и у тебя уже складывается правильное впечатление о содержании папки, той информации может быть уже достаточно. Ты уже можешь принять решение, копать дальше и так далее. Как сделать что-то подобное в командной строке линукс?

Comments

[Дмитрий]

Винда тоже не рассчитывает размер папки в realtime

[xotkot]

можно было бы сформулировать вопрос проще:
как узнать(видеть) промежуточный результат при подсчете размера директории

Answer 1

[pfg21]

подключиться к inotify. но нему прокидывают все изменения в файловой системе.
фильтровать поток по необходимым путям и действиям и далее перечитывать статус измененных файлов.
получишь размер каталогов прям в онлайн.

Answer 2

[Александр Карабанов]

ncdu - один раз подождать (совсем не долго даже если тысячи фалов) и потом наглядно увидеть, где чего и сколько, а затем удобно оттуда же удалить.

Answer 3

[xotkot]

ncdu -1 /path/to/folder/
ncdu -q -1 /path/to/folder/ (интервал 2 сек)

Answer 4

[AUser0]

du -s /path/to/folder/ разве не даёт такой информации?

Comments

[Михаил Zhukov]

Вы меня не поняли, видимо не ясно выразился.

В винде, когда нажимаешь опцию "свойства" у папки, само собой в граф интерфейсе, начинается подсчет объема папки и количества файлов в реальном времени. Т.е. если там миллион файлов, мне не надо ждать до конца, я уже вижу что там до хера файлов и это будет очень много занимать пространства. С du я вбиваю с ключём -s как вы посоветовали и всё - система замерла. Теперь надо ждать 10 лет. Мне бы хватило и примерного подсчета, сделанного на 10% чтобы принять решение о папке, а тут мне надо жать именно 100% подсчета.

[AUser0]

Хмммм, du срабатывает очень быстро (если не сетевой диск, конечно), и другими вариантами подсчёта как-то никогда и не интересовался.

[Михаил Zhukov]

AUser0, ну представьте, что у вас 10 000 файлов, раскиданных по папкам. Вам надо принять решение, что удалить и что оставить. Понимать примерные объемы, примерные количества файлов, где что лежит, где больше, где меньше. И вот есть директория, а в ней еще штук 5 директорий, где лежат эти файлы. Каждый раз надо ждать финальной отработки, при каждой проверке каждой папки. Держать еще это надо в голове, так как информация не кешируется, стало быть забыл - жди заново. В Виндовс было бы гораздо быстрее: я бы только нажал на свойства и на первых секундах понял бы с чем имею дело и начал бы смотреть дальше.

[AUser0]

А тут поможет du -s /path/to/top_dir/*/, где top_dir - директория, в которой находятся эти 5 поддиректорий. Покажет размер для каждой поддиректории, потому что указана звёздочка (*/).

[DO12]

AUser0, я бы даже делал так:
du -csh /path/to/dir/*

И по сути, du "кэширует" данные. Т.е. повторный запуск отработает в разы быстрее.

Answer 5

[chupasaurus]

32-строчный эмулятор счётчика в Explorer.exe на Пайтоне. Cчитает всё без разбора, поэтому на /dev и другие блочные девайсы направлять не рекомендуется :)

#!/usr/bin/python3
import os,sys
sumSizes = 0
countFiles = 0
countDirs = 0


def reDraw(size):
    global sumSizes
    sumSizes += size
    outString = '\r{0} bytes total, {1} directories and {2} files...'.format(sumSizes, countDirs, countFiles)
    print(outString, end='')

def getSizeRecursively(path):
    global countDirs
    global countFiles
    try:
        for entry in os.scandir(path):
            if not entry.is_dir(follow_symlinks=False):
                countFiles += 1
                try:
                    reDraw(entry.stat().st_size)
                except:
                    continue
            else:
                countDirs +=1
                reDraw(entry.stat(follow_symlinks=False).st_size)
                getSizeRecursively(entry.path)
    except OSError:
        pass

getSizeRecursively(sys.argv[1])

Answer 6

[hint000]

Вопрос надо бы исправить, хотите статистику по самым толстым папкам, а спрашиваете совсем другое. Хорошие ответы про ncdu. Добавлю ещё вариант с GUI, это baobab. Очень наглядно, наводите мышку на разные сектора и видите подсказки: