Где и как хранить файлы пользователей?

Question

[My1Name]

На сколько правильно хранить файлы пользователей web-приложения (Spring) в каталогах по относительному адресу? Например: c:/name project/users/1000/1...1000/ Когда количество папок в папке "1000" достигает соответствующего значения, то создаётся новый каталог со следующей тысячей: c:/name project/users/2000/1...1000/ и т.д. Есть ли какие-то альтернативные решения? Или как лучше всего хранить файлы пользователей?

Comments

[Сергей delphinpro]

Без разницы. Главное как-то ограничить количество объектов в директориях.

Можно хэш брать, например три символа от md5 – /users/a76/ – максимум будет ~4000 файлов
Можно сюда user_id добавить – /users/a76/12
Можно на дату опираться /users/2024/01/17
Лично я обычно по датам раскладываю.

[Everything_is_bad]

гуглить пытался? ответ давали кучу раз, самый простой вариант hash от чего-либо, лучше уникального, либо тот же uuid, и подпапки на его основе, пример, 098f6bcd4621d373cade4e832627b4f6 -> 09/8f/6b/

[My1Name]

Сергей delphinpro, Что делать, если количество папок в главном каталоге "users" достигнет 1000 и пойдёт дальше (до ограничения файловой системой)? Как решают такие проблемы?

[Дмитрий]

My1Name, делите хэш на две части(три) af/df/af

[Сергей delphinpro]

My1Name, ну я же написал – при использовании хэша из трех шестнадцатиричных знаков - максимальное количество будет около 4 тысяч. Диапазон 000..FFF это 4096 элементов.
Максимум файловой системы куда больше.
https://stackoverflow.com/questions/8238860/maximu...

При использовании даты - тут расчет на то, что за один день не будет загружено столько файлов, но это от проекта зависит.

[My1Name]

Сергей delphinpro, проблема не в именах файлов. У меня такая структура, что я свободно могу указать лимит количества папок в одном каталоге в соответствии с файловой системой. Это вообще не вопрос. Реальная проблема в том, как проверить, сколько физического места занимает папка пользователей "users"?

Лично я знаю только один вариант: Обойти все файлы и суммировать их размер. А если файлов много (гигабайты или терабайты), то система подвиснет на время подсчета. И это проблема.

[Сергей delphinpro]

My1Name,

Реальная проблема в том, как проверить, сколько физического места занимает папка пользователей "users"?

Что ж вы о реальной проблеме ничего не написали в вопросе? Там речь идет только о методах хранения.

Наверное стоит "спросить" у операционной системы, вместо самостоятельного подсчета.

[Saboteur]

Лично я знаю только один вариант: Обойти все файлы и суммировать их размер. А если файлов много (гигабайты или терабайты), то система подвиснет на время подсчета. И это проблема.

От размера файла, получение его размера не будет больше или меньше. Только от их количества.
Но посчитать объем от сотни тысяч файлов не слишком долго, разве что надо это делать прям очень часто.

А так - посмотри в сторону S3 сервиса

[My1Name]

Saboteur,

посчитать объем от сотни тысяч файлов не слишком долго

Ну, да, это по большому счёту секунды (секунд 10+ в среднем). Однако, может есть какая-то команда, чтоб запросить размер папки (проекта?) у операционной системы?

[Сергей delphinpro]

My1Name, не знаю джаву

[Saboteur]

My1Name,

du /path/to/folder
du -k /path/to/folder
du -m /path/to/folder
du -h /path/to/folder

[ThunderCat]

My1Name, Команды я написал. Как работать с командной строкой из явы - гуглится за полсекунды. https://www.baeldung.com/run-shell-command-in-java

Answer 1

[Dmitry Roo]

1. Адреса должны быть относительными всегда
2. Место хранения следует задавать переменной

Comments

[My1Name]

Место хранения следует задавать переменной

Я предусматриваю "alternativeUsersPath" в виде LinkedList, но пока что не реализовал... Есть ссылка на пример организации адресов через переменную?

[Refguser]

1. Адреса должны быть относительными всегда

Разработчики движков покатываются от смеха :)

[Dmitry Roo]

My1Name, например https://www.baeldung.com/spring-value-annotation

[Dmitry Roo]

My1Name, вот еще: https://www.baeldung.com/spring-boot-command-line-...

[My1Name]

Dmitry Roo, первая ссылка интересная, но всё как-то очень сложно... У меня конфигурация системы (пути к внешним каталогам и файлам) подгружается через класс Tools. В этом же классе реализованы методы, которые читают системные файлы, которые админ (через своеобразную CMS приложения) может менять.

[My1Name]

Dmitry Roo, проблема в том, что относительный адрес нужно менять в двух случаях: 1. Количество каталогов достигает лимита файловой системы. 2. Мало памяти на накопителе.

Первый вариант достаточно просто решить. А во втором случае, нужно обойти все файлы в каталогах и суммировать их размер. Это "дорогостоящий процесс", если файлов миллионы и всё это дело измеряется гигабайтами или терабайтами данных. В это время, приложение может подвиснуть на какое-то время...

[ThunderCat]

Refguser,

Разработчики движков покатываются от смеха :)

Движки они во первых на то и движки, что ограничиваются чем-то в угоду универсальности, во вторых многие позволяют настраивать вид ссылок - относительные или абсолютные. В разработке "с руки" удобнее пользоваться именно относительными путями, так как это более переносимое решение.

[Refguser]

ThunderCat,

В разработке "с руки" удобнее пользоваться именно относительными путями, так как это более переносимое решение.

"Аполитично рассуждаешь! Аполитично рассуждаешь, клянусь, честное слово! Не понимаешь политической ситуации." (С) тов. Саахов. :)

Всё зависит от конкретных задач. И двиджки на это тоже как бэ намекают.

Answer 2

[ThunderCat]

Это вообще не вопрос. Реальная проблема в том, как проверить, сколько физического места занимает папка пользователей "users"?

Во первых если это реальная проблема - почему вопрос совершенно о другом?

Во вторых - у вас в примере виндовый диск, что как бы странно для хостинга. В случае линуха все решается либо командой du -sm /your/directory/* либо установкой ncdu, который сильно быстрее, и соответственно что-то типа ncdu /your/directory/.

Comments

[My1Name]

Во первых если это реальная проблема - почему вопрос совершенно о другом?

Это вроде как к одна тема...

Во вторых - у вас в примере виндовый диск

А какая разница, если я хочу мониторить количество файлов и физический размер папки "users" через приложение (CMS)?

[Сергей delphinpro]

My1Name,
1. Это совершенно разные темы и задачи.

2. Если самостоятельно будете подсчитывать общий размер файлов обходом - нет разницы. Если будете запрашивать у операционки через системные вызовы, разница огромная.

[My1Name]

Сергей delphinpro,

разница огромная

Я понимаю. Поэтому и задал вопрос:

Есть ли какие-то альтернативные решения?

Как получить доступ к логическим дискам на выделенном сервере?

[ThunderCat]

My1Name, Вы извините, но у вас какие-то скачки. То нужно структуру хранения, то как получить доступ к логическим дискам, то как посчитать размер... В чем вопрос то?

[My1Name]

ThunderCat, Вопрос в том, что на выделенном сервере, обычно подключен дисковый массив в рейде.. По мере увеличения проекта, непонятно, нужно ли менять адрес хранения данных при увеличении дискового пространства?

[ThunderCat]

My1Name,

Вопрос в том, что на выделенном сервере, обычно подключен дисковый массив в рейде.. По мере увеличения проекта, непонятно, нужно ли менять адрес хранения данных при увеличении дискового пространства?

Во первых - чем вам помогло решение отмеченное как верное в контексте этого вопроса? Во вторых - какой адрес вы собираетесь менять? Обычно при расширении райд массива вы получаете просто дополнительное пространство, виртуально объедененное в нужное количество разделов. Как расширять зависит от задачи, то есть ничего не мешает просто увеличить место на использующемся разделе.

[My1Name]

ThunderCat,

Во первых - чем вам помогло решение отмеченное как верное в контексте этого вопроса?

1. Адреса должны быть относительными всегда 2. Место хранения следует задавать переменной. И это правильно. Потому что это позволяет не привязываться к поставщику услуг. В случае каких-то недоразумений, разработчик может поменять сервер (хостинг-провайдера). Кроме того, если используется выделенный сервер (или я покупаю статический IP и делаю свой), это позволяет добавлять диски и указывать новые адреса.

Во вторых - какой адрес вы собираетесь менять?

Думаю эту часть адреса делать опциональной c:/name project/users/ На данный момент, я программно создаю два каталога (две папки) "name project" и "users" относительно месторасположения проекта (System.properties). И это неправильно в контексте ограничений файловой системы... Нужно оставить возможность использовать корень жесткого диска.

Обычно при расширении райд массива вы получаете просто дополнительное пространство

Всё верно. И это только хранилище, а не сервер приложения... Сама программа обычно работает совершенно в другом месте.

Answer 3

[mayton2019]

Если тебе нужно временное место - то используй системную переменную

System.getProperty("java.io.tmpdir")

Или с префиксом и суффиксом - есть готовая функция которая возвращает файл.

Files.createTempFile("", ".tmp")

Вместо игр со счетчиком от 0 до 1000 - лучше использовать текущую дату-время или GUID.

Answer 4

[Refguser]

На сколько правильно хранить файлы пользователей web-приложения (Spring) в каталогах по относительному адресу?

Всё зависит от общих принципов формирования адресов в приложении. Нужно делать единообразно.
Только не забывать, что если используются абсолютные ссылки, но должна быть константа или перемененная, указывающая на корень, от которого и формируются все ссылки приложения.

Есть ли какие-то альтернативные решения? Или как лучше всего хранить файлы пользователей?

Полно альтернатив. Зависит от задач и условий эксплуатации.
Можно раскидывать по датам (напр месяцам: 2023/12, 2024/01)
Можно по юзерам
Можно по теме
итд.
Можно также комбинировать способы.

Но тут важно понимать что большое кол-во файлов в каталоге может вызывать проблемы при некоторых условиях, поэтому стоит делать проверку кол-ва и распределять по другим каталогам.