Как создать распределенную систему хранения файлов?

Question

[theMacros]

Нужно сделать распределенную систему хранения файлов, а именно изображений. В данный момент всё хранится на одном сервере и объем изображений уже подходит к двум терабайтам. Хотелось бы сделать изображения на отдельном сервере и на отдельном поддомене.
Но есть сложность - превьюшки к изображениям формируются в момент открытия страницы. То есть если на странице нужна превьюшка 50х50 то она формируется именно в момент загрузки страницы.
Буду благодарен за любые мысли по этому вопросу.

Comments

[АртемЪ]

Ну мыслей тут может быть много..
Вопрос - что конкретно вас не устраивает в данной конфигурации, и для почему появилось желание сделать распределенную систему, для каких целей.

[theMacros]

АртемЪ: не устраивает - места на жестком диске почти не осталось, думаю если распределить то должно работать быстрее

[Alexander Kovalenko]

Возможно, вам будет интересно посмотреть на https://github.com/chrislusf/seaweedfs .

Answer 1

[Петр]

А в чем проблема?
Выделите отдельный сервер для привьющек. По запросу он сам скачает с файлового сервера картинку и выдаст в нужном формате.

Comments

[theMacros]

а как туда изображения кидать? и главное как генерировать превьюшки на нем?

[Петр]

theMacros: Вы ведь это уже делаете "То есть если на странице нужна превьюшка 50х50 то она формируется именно в момент загрузки страницы." Перенесите эту часть кода на отдельный сервер. Раз хочется распределенности. А картинки сами хранить на CDN

[theMacros]

Петр: а не будет ли это медленно? мне приходит в голову только сделать там php скрипт который будет делать ресайз

[Петр]

theMacros: Если ваш сервер основной будет загружен под завязку это не сделает генерацию превьюшек медленной? ))

[theMacros]

Петр: спасибо за советы, будем пробовать

Answer 2

[redakoc]

Я бы просто обратился бы к хостингу типа cloud storage
Логика может оставаться там где есть.
Картинки - могут уехать к другому хостеру.