Задать вопрос

Как эффективно хранить и раздавать миллиарды мелких файлов?

У нас миллиарды мелких файлов. Используем XFS файловую систему с древовидной структурой. Все время сталкиваемся с ситуацией, когда у нас 90% инодов занято и при этом используется только 30% места.
Подход к хранению надо менять.
Задачу условно можно поделить на две секции:
1. Внутренние данные (условно, xml логи, до 100 файлов, объединенные по конкретному ID задачи (Mongo ObjectId), 1.5Тб+ файлов — 0.1...10Кб/файл в gzip, авто-удаление через 2 дня...3 месяца в зависимости от типа) — примерно 500 файлов/секунду прилетает
2. Раздача статики (условно, пользовательские файлы... к примеру, картинки — коих уже 2+Тб)
Надо как-то по хешу выдавать сразу через nginx. S3? MinIO?
  • Вопрос задан
  • 1608 просмотров
Подписаться 5 Средний 2 комментария
Ответ пользователя Griboks К ответам на вопрос (5)
Griboks
@Griboks
Как эффективно хранить и раздавать миллиарды мелких файлов?

Если вам не подходит файловая система, тогда используйте реляционную базу данных.
Ответ написан