Большое количество файлов и папок. Дробить или нет?

Question

[Goodver]

К примеру есть миллион папок в каждой из которых миллион файлов.

1. Просто записываем этот миллион папок в какую то одну главную папку.
2. Разделяем главкую папку еще на 100 папок, а миллион наших папок разделяем между этими 100 папками

По какому принципу работает файловая система linux, то есть как она находит файл (перебором каждой папки пока не удовлетворит запросу, всмысле если я указваю путь /main/56/1.jpg проверяет ли он названия предыдущих 55 папок на соответсвие цифре 56, то есть начиная с первой папки это 56?-нет, это 56?-нет) и есть ли принципиальная разница в быстродействии при обращении к конкретному файлу.

То есть /main/1/2/1.jpg или /main/1/1.jpg

Answer 1

[sledopit]

Дробите. Подробности.

Comments

[Goodver]

Ок, тогда встречный вопрос. По Вашей ссылке речь идет о большом количестве файлов. А что если к примеру у меня 1м папок, в каждой из который по 1 файлу. Влияет ли листинг большого количества папок на быстродействие, так как папка это по сути просто запись, то есть она ничего не весит и ничего не занимает.

[phasma]

директория весит и занимает. Есть еще такая вещь как inode. Листинг большого количества файлов невозможен, т.к. в стандартных гнушных утилитах есть ограничения. Лучше это делать через find. В общем если это изображения, как упомянутов выше, то просто указывай директорию вида /YY/MM/DD/, если есть хэши, то пару директорий первыми символами от хэша.

[rPman]

ext2/3 (и кажется и 4) каталоги — это просто файл с особым типом и тупым форматом (последовательность блоков под каждый файл), для поиска файла читается фактически весь список (конечно это быстрее чем вывести весь список, но трудоемкость такая же)

Если порыться, возможно можно будет найти файловые системы с древовидным хранением информации о файлах в каталоге.

p.s. поиграйтесь со squashfs, если запись критична — +unionfs или +aufs, в общих тестах (речь не идет о именно большом количестве файлов, формат контейнера squashfs так же планарный для директорий) дает в среднем 12%-30% прирост (тупо меньше елозить по диску)

p.p.s. habrahabr.ru/qa/10694/#answer_46206 а для имен файлов использовать какую-либо nosql

[sledopit]

@phasma: Листинг невозможен, если его делать вот так:

ls *

Если просто запустить ls то всё будет ок, но выводиться будет достаточно долго.
Это всё из-за того, что * начинает раскрываться, а шелл имеет ограничение на количество передаваемых аргументов. по этой же причине отвалится rm * и прочие товарищи.
зы. Однако, что весьма любопытно, конструкция

for i in * ; do echo "$i" ; done

будет прекрасно работать (echo можно заменить на rm или что душе угодно).
Происходит это потому, что for, в отличие от ls, rm, etc явлется builtin командой и ограничение на количество аргументов на него не распространяется, т.к. * в данном случае аргументами являться не будет. Правда оперативки съестся прилично. (:

Answer 2

[ComodoHacker]

> есть миллион папок в каждой из которых миллион файлов.

Кажется вы созрели для СУБД.

Answer 3

[zuborg]

Дробить надо, причин тому много, фактически все сводится к тому, что чем больше обьектов в папке — тем больше ресурсов надо на их поиск (и другие операции). В некоторых случаях — пропорционально размеру…
Найти файл (или пустое место для создания нового) среди миллиона таких же в папке сложнее, чем сначала найти его подпапку среди тысячи подпапок, и потом найти нужный файл среди тысячи в выбранной подпапке. Даже с техниками индексирования содержимого папок…

Итого, желательно чтобы максимальное кол-во обьектов в папке было порядка 1к-5к. Добавлять односимвольные подпапки, к примеру, не эффективно — их получится много и кол-во операций поиска елемента в папке сильно увеличится (хотя операции эти будут сравнительно простыми). Идеально — 3 (максимум 4) цифры на подпапку, либо 2 символа включая буквы (для равномерной плотности распределения символов в имени).

Answer 4

[Алексей Прохоров]

Решаю такую задачу путем генерации катлога по uinqueid в php (подойдет любой другой аналог) и дальнешим дроблением полученного значения на подкаталоги. Степень дробления определяется частотой добавления новых файлов. В итоге полученное решение приемлемо для любой актуальной файловой системы.

Answer 5

[kamaikin]

Плохо в инете искали..... статьи старые....
habrahabr.ru/post/70147
vkamaikin.ru/page/obrabotka-fajlov-na-servere