Много файлов в одной папке на сервере. Как организовать быстрый доступ?
Есть несколько папок на сервере в ramfs, в каждой из которых лежит относительно много файлов (близко 60000). Файлы разного размера суммарный обьем 30Мб. Интересует, как организовать к ним быстрый доступ по имени файла. Нужно ли городить огороды, или файловая система и сама справится? Будет ли преимущество если загнать файлы в БД типа Redis?
Редис значительно удобнее в обслуживании, чем ramfs. Вы можете сделать нормальную репликацию данных и при старте/стопе сервера меньше возни. Я думаю, что чтение из редиса будет быстрее особенно, если нужно вычитывать сразу несколько фаилов. Это можно делать одной транзакцией (MULTI запрос в редис). Посмотрите на redis.io/topics/benchmarks можно на этом же железе запустить и посмотреть какую скорость выдаст редис
ну при моих обьемах репликация ни к чему.
На счет ребута- согласен, тут с редиской веселей.
Запрашиваться одновременно будет лишь один файл. В очень редких случаях - два, так что в моем случае MULTi не сильно поможет.
ну считывание файлов тоже можно сделать многопоточно. А вообще таки решил юзать редис, дабы в будущем проблем с масштабируемостью не было (хотя пока она не намечается)
блин, восприняло как теги. Не понял. Для справки имена файлов идут в виде "[int],[int].json" . То есть в моем случае понасоздавать папки с именами каждого первого [int]?
Роман Надточий: Можешь из каждого имени создать md5 свёртку и создать иерархию вложенных папок, допустим, так: files/de/file.json, где files - корневая папка для файлов. de - первые два символа в md5. Смысл в том, что в папке files появится не более 256 (16*16) папок, и в каждую из них упадут где-то по 235 файлов (если файлов действительно 60000).
Простой
