Как хранить очень большое количество файлов? Как сохранять пути в БД?

Question

Михаил Иванов @apiquestion

Студент

Как хранить очень большое количество файлов? Как сохранять пути в БД?

У меня в проекте будет очень много картинок (аватары пользователей, постеры для фильмов, обложки для альбомов и т.д.).
Вопрос: как лучше сохранять картинки на сервере и как сохранять пути в БД?
Насколько мне известно, в одной папке можно хранить ограниченное количество файлов, иначе могут быть проблемы (вплоть до полной потери данных). Поэтому нужно создавать какое-то дерево папок и по ним разбрасывать файлы.
На данный момент я не придумал ничего лучше, как генерировать при загрузке файла GUID и, например, для 6F9619FF-8B86-D011-B42D-00CF4FC964FF хранить фото в папке 6F/6F96/6F9619FF-8B86-D011-B42D-00CF4FC964FF.jpg. В БД я планирую хранить только GUID, а загружаемый формат для картинок ограничу одним JPG. Сильно ли костыльно?
Какие еще варианты можно придумать?

Вопрос задан более трёх лет назад
863 просмотра

2 комментария

Подписаться 3 Оценить 2 комментария

Сергей delphinpro @delphinpro

Насколько мне известно, в одной папке можно хранить ограниченное количество файлов, иначе могут быть проблемы (вплоть до полной потери данных).

Про потерю данных не в курсе. Вряд ли. Но увеличение времени доступа к директории вполне реально. Поэтому на поддиректории разбивать стоит.
Изобретать ничего особо не нужно. Описанный вами подход очень часто используется.
Ограничивать формат вряд ли стоит. В бд с таким же успехом можете хранить сгенерированное имя файла вместе с расширением. Плюс можно хранить оригинальное имя (обычно если вы хотите оставить возможность скачать файл с этим оригинальным именем).

Написано более трёх лет назад
sim3x @sim3x

Сергей:
разбивать нужно, если нужно ходить по директории через ssh/ls/etc

Написано более трёх лет назад

Насколько мне известно, в одной папке можно хранить ограниченное количество файлов, иначе могут быть проблемы (вплоть до полной потери данных).

Про потерю данных не в курсе. Вряд ли. Но увеличение времени доступа к директории вполне реально. Поэтому на поддиректории разбивать стоит.
Изобретать ничего особо не нужно. Описанный вами подход очень часто используется.
Ограничивать формат вряд ли стоит. В бд с таким же успехом можете хранить сгенерированное имя файла вместе с расширением. Плюс можно хранить оригинальное имя (обычно если вы хотите оставить возможность скачать файл с этим оригинальным именем).
Сергей:
разбивать нужно, если нужно ходить по директории через ssh/ls/etc

Answer 1 · 2017-07-02 11:53:06

Насколько мне известно, в одной папке можно хранить ограниченное количество файлов, иначе могут быть проблемы (вплоть до полной потери данных).

У каждой файловой системы есть ограничения.
Например максимальный объем файла, или длина пути к файлу. Если вы их не превышаете - все нормально.
Если вы сгрузите все файлы в одну папку - ну вероятно вам будет просто неудобно с ними работать и их сортировать. Возможно некоторые файловые системы будут работать медленнее при большом количестве файлов в папке. Я с таким не сталкивался.
Сколько миллионов файлов у вас будет в одной папке?

На данный момент я не придумал ничего лучше, как генерировать при загрузке файла GUID и, например, для 6F9619FF-8B86-D011-B42D-00CF4FC964FF хранить фото в папке 6F/6F96/6F9619FF-8B86-D011-B42D-00CF4FC964FF.jpg

Правильно и грамотно придумали. Собственно так и делают - файл хэшируют, хэш используется как имя файла, по первым символам хэша идет разбивка на папки, если таковая нужна. Хотя это не единственный вариант, в зависимости от ситуации может быть более удобна другая разбивка.

Как хранить очень большое количество файлов? Как сохранять пути в БД?

Войдите на сайт