Выбор БД для файлов (или не БД)?

Question

[RouR]

Нужно хранить текст, картинки, ссылки из текста на картинки, и некоторую мета-информацию.
Нужно сжатие и дедубликация.
Нужно горизонтальное масштабирование, лучше с помощью докера.

Посоветуйте пожалуйста инструмент.

Comments

[d'Ivan]

Для веба?
текст, картинки, ссылки из текста для выдачи как есть или в виде сформированной страницы?
Только хранение сжатых данных или также выдача клиенту?

Answer 1

[d'Ivan]

В БД лучше хранить лишь текст, ссылки на внешние объекты и мета-информацию.
Дедупликация может быть простой, на уровне файлов. В этом случае достаточно вычислить хеш-сумму (MD5, SHA-1) от содержания изображения целиком и на уровне хранения сверять с имеющимися хешами.
Для дедупликации на уровне блоков в файле нужно искать более специализированные решения (ZFS volume и др.).

По-моему к docker это вовсе не имеет отношения, т.к. речь не о виртуализации исполняемого процесса, а об организации хранения данных.

Answer 2

[RouR]

Нашел видео - Архитектура хранения и отдачи фотографий в Badoo
https://www.youtube.com/watch?v=SU9ETg39FEg&list=P...