Будут ли проблемы с производительностью если в директории ~100000 файлов (ФС — ext4)?

Question

[Станислав Фатеев]

Встал вопрос об организации хранения и доступа из веб-приложения к множеству - порядка 100000 мелких .mp3 файлов размером 3-10 килобайт каждый (озвучка слов - юзер кликает на кнопку и слышит произношение слова).

Проще всего мне видится скинуть их всех в одну папку которую облуживает вебсервер и передавать на фронтенд URL на необходимый файл. URL'ы соответсвенно хранить в базе. Есть и другие варианты (хранить файлы в базе как двоичные данные, передавать не URL а сразу двоичные данные, не хранить 100000 файлов в одной папке а разбить по нескольким) Файловая система на сервере ext4.

В общем, как лучше организовать подобное и какие подводные камни?

Answer 1

[Dimonchik]

a=md5(a)
/ a[0:2] / [a[2:4] / a.mp3

т.е. 2 папки, можно одну, если точно не более 100-200к

Comments

[Mikhail Osher]

А еще лучше 3 секции по 2-3 символа.

[Dimonchik]

ну, то может быть и много, просто в таком виде 65536 папок, для такого порядка как 200к файлов достаточно

Answer 2

[Saboteur]

Для чтения по абсолютному пути проблем не будет.
Некоторые проблемы могут быть при добвлении новых файлов, updatedb и др.
Но лучше разбить на несколько папок, вы же все равно полный путь в базе храните.

Answer 3

[Леша Киселев]

Вот тут поднималась эта тема: Расскажите про ваш опыт с файловыми системами для мелких файлов?