Хранение статических файлов на сервере

Question

[akamajoris]

Имеется 1 сервис. В данный момент файлы пользователей (изображения, PDF и т.д.) хранятся в общей папке на сервере. С каждым днем их количество прилично возрастает.

Система Debian 7 x64, EXT3

Вопрос состоит в том, стоит ли думать о разбивке хранилища на различные директории, поскольку не за горами в 1 директории окажется несколько миллионов файлов. Не очень глубоко знаком с низкоуровневой работой с файлами в Linux, поэтому буду рад услышать от знающих людей по какому пути пойти: оставить всё как есть или позаботиться о будущем, а также какие проблемы возможны в случае, если оставить «как есть».
Заранее благодарю за советы.

Answer 1

[Степан]

Не рекомендуется сохранять огромное количество файлов в одной папке. Проблемы будут… Даже при 20к файлов в одной папке WA на сервере начнет сильно расти.
Имена файлов какие? Делайте минимум 2-3 подпапки и все будет хорошо.
У меня например на всех проектах первые 3 буквы хеша файла.
Для файл 71d9e9817d9d2e661abbaf3368e01529.jpg будет лежать в ..../7/1/d/71d9e9817d9d2e661abbaf3368e01529.jpg

Answer 2

[norlin]

Можно банальную разбивку по дате – года, месяца, дни. Либо, если файлов не очень много – только года и месяца. Но, в любом случае, такую разбивку лучше предусмотреть заранее.

Answer 3

[niko83]

Мне всегда хотелось попробвать подход с хранением кучи мелких файлов в одном файле, где нужная инфа вырывается по смещению + длинна. Такой подход используется на фэйсбук. Но что-то задач по этой части никогда не вырисовывалось.

Позже оказалось, что можно сделать еще лучше. Изображения стали хранить в больших бинарных файлах (blob), предоставляя приложению информацию о том, в каком файле и с каким отступом (по сути, идентификатором) от начала расположена каждая фотография. Такой сервис в Facebook получил название Haystack и оказался в десять раз эффективнее «простого» подхода и в три раза эффективнее «оптимизированного»

если захотите опробовать такой подход — отпишитесь о результатах

Comments

[akamajoris]

Спасибо за идею, в ближайшее время попробую использовать в тестах, а позже возможно выйдет на продакшн сервере.

[Сергей Еремин]

Хм... допустим если на Си так делать, то скорее всего правда будет быстрее (не надо файловую систему дергать, а seek и правда в файлах быстрый). А вот в Python? Там известно будет убыстрение или нет???

Минус метода -- ничего не удалить. Удаляя seek-ссылку файл-же не трогаем.

Answer 4

[Chamie]

не за горами в 1 директории окажется несколько миллионов файлов … какие проблемы возможны в случае, если оставить «как есть».

Даже удалить будет не так-то легко:
Необычное переполнение жесткого диска или как удалить миллионы файлов из одной папки
Так как же удалить миллионы файлов из одной папки?

Answer 5

[horlon]

Обязательно нужно по папкам разнести. Тормозить будет адски, а еще механику дисков изнашивать читая огромные колличества файлов (говорят даже диски сыпались из-за такого). На личном опыте скажу в папке, в идеале, не должно быть больше 1000 файлов или папок (можно и больше, но это уже бъет по производительности).
Я обычно по счетчике расспределяю файлы.
Допустим, есть десять папок 0-9 (можно еще и латинские буквы вмешать — тогда и больше), в каждой есть еще по 10 таких же в них еще по 10. Допустим хочу сохранить миллион файлов (по 1000 файлов в папке). Нужно всего три уровня вложенности.
Конечно если предусматриваеться, что папки будут создаваться автоматически (вручную такое задолбетесь создавать).
Первые 1000 файлов (с первого по 1000 файл) будут лежать в папке 0/0/0
Вторые 1000 файлов (с 1000 по 2000 файл) будут лежать в папке 0/0/1
И т.д. Но лучше делать с запасом, например 6-8 уровней (например 0/0/0/0/0/0/0/0, и файлы нужно лить только в последние уровни во избежание путаницы, когда есть папки с именами 0-9, файли из которых разольет по уровням — не соберете).
И еще одно можно создавать папки и так: 000 — 999, не вкладывая папка в папку, как угодно но учтите еще длинну пути до поледнего вложенного файла, чтобы еще и она держалась в рамках допустимого (жалательно не превышать 256 символов — зависит еще и от файловой системы).