Много файлов в одной папке на сервере. Как организовать быстрый доступ?

Question

[Роман Надточий]

Есть несколько папок на сервере в ramfs, в каждой из которых лежит относительно много файлов (близко 60000). Файлы разного размера суммарный обьем 30Мб. Интересует, как организовать к ним быстрый доступ по имени файла. Нужно ли городить огороды, или файловая система и сама справится? Будет ли преимущество если загнать файлы в БД типа Redis?

Answer 1

[mgyk]

Редис значительно удобнее в обслуживании, чем ramfs. Вы можете сделать нормальную репликацию данных и при старте/стопе сервера меньше возни. Я думаю, что чтение из редиса будет быстрее особенно, если нужно вычитывать сразу несколько фаилов. Это можно делать одной транзакцией (MULTI запрос в редис). Посмотрите на redis.io/topics/benchmarks можно на этом же железе запустить и посмотреть какую скорость выдаст редис

Comments

[Роман Надточий]

ну при моих обьемах репликация ни к чему.
На счет ребута- согласен, тут с редиской веселей.
Запрашиваться одновременно будет лишь один файл. В очень редких случаях - два, так что в моем случае MULTi не сильно поможет.

[mgyk]

Ну не забывайте еще о том, что редис всегда легко можно вынести на отдельную железку :) или сделать много потоков работающих с данными

[Роман Надточий]

ну считывание файлов тоже можно сделать многопоточно. А вообще таки решил юзать редис, дабы в будущем проблем с масштабируемостью не было (хотя пока она не намечается)

Answer 2

[Макс]

Раскидать по папкам исходя из имени файла, ФС справится

Comments

[Роман Надточий]

Не понял. Для справки имена файлов идут в виде ",.json" . То есть в моем случае понасоздавать папки с именами каждого первого ?

[Роман Надточий]

блин, восприняло как теги. Не понял. Для справки имена файлов идут в виде "[int],[int].json" . То есть в моем случае понасоздавать папки с именами каждого первого [int]?

[Roman K]

Роман Надточий: Можешь из каждого имени создать md5 свёртку и создать иерархию вложенных папок, допустим, так: files/de/file.json, где files - корневая папка для файлов. de - первые два символа в md5. Смысл в том, что в папке files появится не более 256 (16*16) папок, и в каждую из них упадут где-то по 235 файлов (если файлов действительно 60000).

Answer 3

[Пума Тайланд]

60 тысяч на папку совсем немного так что будет летать