Как настроить Object Storage для хранения большого количества изображений?

Question

[Soho]

Столкнулся с проблемой хранения изображений для сайта. В месяц это +5 млн изображений. Место на сервере заканчивается, и вот решил взять Object Storage у contabo. Сейчас сайт на одном сервере, а изображения на другом (сначала сохраняются на основной сервер сайта, а потом по ftp передаются на сервер хранения все в одну папку) и на сайте они выводятся с субдомена https://i.mysite.com, можно ли как-то Object Storage подключить к моему серверу чтобы отдавать изображения с моего субдомена? И сейчас все это работает через CDN Cloudflare

Либо посоветуйте какие-то решения, может сервера или еще что-то, кто как организовывал?

PS AWS не предлагать пока дорого

Comments

[shurshur]

Это же позиционируется как замена S3. Скорее всего, у них там что-то типа storage.domain.com/bucketname или bucketname.storage.domain.com. Соответственно, нужно будет класть, допустим, в path/to/file.jpg, а потом использовать как https://storage.domain.com/bucketname/path/to/file.jpg. И не забыть разрешить анонимный доступ к этому бакету на чтение.

Советую всё же внимательнее почитать их условия и ограничения. На первый взгляд они заявляют, что data transfer полностью включён в цену, но я бы поостерёгся верить этому на слово.

[Soho]

shurshur, в этом и весь вопрос они файлы отдают по такому адресу https://usc1.contabostorage.com/bucketname
а у меня на сайте ссылки все с моего поддомена https://i.mydomain.com/file.jpg

и вот такая штука у них в документации

CNAME for custom domain names are not supported yet.

Может по протоколу S3 как-то можно подключить их Object Storage к моему серверу и уже с моего сервера раздавать с субдомена?

[shurshur]

Soho, можно делать редирект (дёшево) или проксировать запросы через свой сервер (но тот прокачает весь трафик в обе стороны).

В Амазоне CNAME можно настроить. Например, Viber в своих интеграциях передаёт файлы через presigned url в S3, но на поддомене самого вайбера. Что тут нет это конечно грустно, могло бы решить некоторые проблемы.

[mureevms]

Существует S3 like объектное хранилище под названием minio. Можно пользоваться как сервисом, так и поставить на свой сервер. Многие хостинг провайдеры уже предлагают такую услугу. Если будет дешевле хранить на своем серваке, нужно поставить и настроить сервер minio у себя.

[Soho]

mureevms, спасибо слышал про minio, можно в нем допустим 10млн фото хранить в одной папке? или нужно писать реализацию, чтобы по папкам раскладывать изображения? не сильно хочется менять все пути на сайте

[mureevms]

Soho, Конечно лучше прочесть документацию, но сдается мне, что ограничение в данном случае будет на стороне файловой системы, а не софта. Например, на моем десктопе так:

$ df -Tih /home
Filesystem     Type Inodes IUsed IFree IUse% Mounted on
/dev/nvme0n1p4 ext4    26M  2.0M   24M    8% /home
$ df -Th /home 
Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/nvme0n1p4 ext4  394G  301G   73G  81% /home

Видно, что на разделе использовано 2 миллиона айнод и свободно еще 26. Думаю имеет смысл ознакомиться с этим и уже потом принимать решение