Где лучше хранить большой объем часто используемых данных?

Question

[kustiktm]

Есть большой объем данных ~100 гб.
Они постоянно обновляются и растут, при этом пользователь сайта должен получить запрошенную им часть этих данных в короткие сроки, чтобы сайт не вис по секунды 2-3.
Сейчас они находятся на диске в виде каталогов.

Куда лучше их переместить/загрузить для быстрого доступа к ним.
БД - Postgresql. Собираюсь скоро подконнектить Redis
P.S. Только GET запросы, это изображения

Comments

[alexalexes]

Какого рода типичные запросы к ним будут?
От этого больше будет зависеть как вы индекс сформируете, а не форму хранения данных. Возможно, вам любая классическая СУБД подойдет.

[kustiktm]

alexalexes, только GET, это изображения

Answer 1

[Владимир Коротенко]

только GET, это изображения

Храните их в файловой системе. Внезапно!
Nginx просто отлично с этим справится.

Answer 2

[Everything_is_not_so_bad]

Нужно вынести данные (изображения и пр. файлы) за пределы веб-сайта. Например, AWS S3, Azure Blob storage, GCP Cloud Storage или совместимые с ними сервисы. Также и на своих мощностях, если сильно надо.
Таким образом, при скачивании ~100 ГБ с внешнего ресурса ваш сервер будет обслуживать клиентов без какой-либо дополнительной нагрузки.