Где лучше хранить статитку?

Question

[mrpsycho]

Вопрос заключается вот в чем:
есть некий сервис, который работает с кучей статических файлов (почти инстаграм, но не инстаграм).
и очень хочется вынести статику на отдельный сервер. Возможно облако.

Хотелось бы узнать - где бы вы разместили >1 миллиона картинок?
И как?

Comments

[mrpsycho]

годится ли для этого eucalyptus?

Answer 1

[Сергей Протько]

CDN (CloudFlare CDN, MaxCDN например), amazon s3 и т.д. При заливке загружаете файл в хранилище и собственно все. Далее все зависит от типа хранилища и подробно описано в документации к сервисам.

по поводу eucalyptus, это разве не балансировщик нагрузки? Ежели вы про платформу облачных сервисов, вам это встанет дороже нежели оплачивать cdn/amazon, ибо придется платить за обслуживание системы.

Comments

[mrpsycho]

спасибо! увидел ключевое слово!

[Влад Животнев]

@mrpsycho @Fesor
Вы только не забыайте, что ни CloudFlare, ни MaxCDN не позволяют "заливать файлы". Они просто выступают реверсным прокси-сервером с кешом.

[Влад Животнев]

@mrpsycho @Fesor ну то есть они вообще хранилищем не являются, только кеши у себя хранят (которые делают так, как считают нужным и настолько, насколько считают нужным).

[Сергей Протько]

@inkvizitor68sl, да, я как-то это упустил... ну тогда подойдет по сути любое файловое хранилище, есть и с поддержкой cdn.

[Влад Животнев]

@Fesor есть. Но тогда это всё же "облачное хранилище с CDN" =)
А вообще я сагрился на приведенные примеры - они этого точно не умеют, а гуглом сюда кто-нибудь придет и будет удивленно пытаться найти такую фичу у них. Хотя... лет через 5 если..

[Алексей Сундуков]

@inkvizitor68sl т.е. тот же MaxCDN на деле не CDN вовсе?

[Влад Животнев]

@alekciy он как раз и есть CDN.
Но "центральным сервером" для них является ваш сервер, а не их собственное хранилище.
Ну и вообще, у CDN никогда нет собственно хранилища (кроме как для кеша). Просто маркетологи зачем-то скрестили два понятия в своё время.

[Алексей Сундуков]

@inkvizitor68sl да и пусть кэша. Оно же максимально близко к клиенту. Хотя у того же MaxCDN я не нашел информацию о том, что у них есть хосты в России.

[Влад Животнев]

@alekciy задача из шапки:
"и очень хочется вынести статику на отдельный сервер. Возможно облако."
Эту задачу CDN в классическом смысле этого слова не решает. Картинки все нужно хранить на сервере.

Answer 2

[Влад Животнев]

Всё зависит от того, как вам с этими файлами взаимодействовать надо.
У облачных хранилищ, обычно, достаточно специфичные интерфейсы взаимодействия (то есть нужно будет переписывать код, который отвечает за "заливку файла"). Тем более, у Amazon S3.
У CDN в классическом понимании этого слова вообще нет интерфейса для заливки, они выступают кэширующим прокси над вашим ресурсом.

Файлы можно просто сложить на отдельный сервер, настроить их для отдачи файлов (nginx-а хватит), поменять ссылки на сайте на новый сервер.
В базе можно хранить id изображения, к диапазонам id привязать соответствующий сервер. И раздавать картинки с images1.domain.tld, images2.domain.tld и так далее.

Писать в эти стораджи можно по NFS или через gluster (у него есть режим standalone-сервера). Тогда код переписывать не придется, только класть файлы в другие каталоги. А читать файлы пользователи будут уже по ссылкам, ведущим на другой сервер.

Правда, сервер такой может упасть или стать недоступным. Если это беспокоит - то нужно заранее думать, как с этим бороться. В принципе, любой админ вам всё это расскажет.

То есть у вас 2 пути:
1) переписывать код под облачное хранилище (которое может закрыться через несколько лет).
2) найти админа, который поможет вам организовать отдельную отказоустойчивую схему для картинок (если нужна отказоустойчивая). Здесь можно либо по сетевым ФС складывать файлы, либо переписать на заливку файлов POST-запросами на соседний сервер. Из плюсов - никогда не закроется =)
3) если нужен только 1 сервер и сами хотя бы немного админить умеете - выносите на отдельный домен, монтируете по NFS/gluster, пишете через NFS, читаете по http с отдельного домена.

Comments

[mrpsycho]

Спасибо, но к сожалению "любому админу" данный вопрос доверять не стоит.

[Влад Животнев]

@mrpsycho я же сказал поможет ;) Реализовывать можно уже самим после консультации с парой разных админов.

Там на самом деле не бог весть какая сложная задача и её можно реализовать на голом nginx-e без ничего (файлы в nginx складывать post-запросами можно). Перезакачивать файлы с другого nginx умеет, если у него на диске этого файла нет, а за ним пришли. Ночью же можно 2 сервера синхронизировать, чтобы уж железно было.
Удалять посложнее, правда, будет (там придется удалять синхронно с обоих серверов и пытаться переудалить позже, если не получилось сразу с двух удалить).

Останется только открытым вопрос о балансировке нагрузки между двумя серверами с одними и теми же картинками. Можно через failover-ip у хостера, например (само собой, при помощи, как минимум, двух, чтобы они в нормальном состоянии висели на разных серверах, а при падении одного переезжали на живой сервер).

Answer 3

[Дэн Иванов]

Если планируете расти, то сразу стоит задуматься над распредленной хранилкой.
Рано или поздно контент перестанет вмещаться на 1 сервер.
Выше уже советовали gluster, но лично я бы его врагу не посоветовал.
Elliptics от яндекса, работает хорошо и быстро, несколько "необычен" в архитектуре внутри, но когда разбираешься, понимаешь зачем это нужно.
В качестве "фронта", от них же уже запилена такая штука как rift которая позволяет реализовать систему бакетов аналогичную S3. Есть еще несколько надстроек позволяющих делать некоторую обработку данных "прямо в хранилище", не таская контент на другие хосты.

Касательно CDN, цены на них и объема хранимого у них контента.
Цены бывают очень гибкие, если посмотрите к примеру на CDN.net, при создании зоны они позволяют часть "дорогих" направлений исключить из обработки.

Касательно объема хранимого на cdn't вашего контента.
cdn77.com к примеру говорит что они хранят у себя до 50Гб вашего кэша, остальное по отдельному прайсу. Опять же они не гарантируют сохранность данных, а лишь позволяют увеличить объем кэша, если ваш активный dataset большего объема.
У остальных cdn провайдеров таже история, только часто эта информация доступна только после обращения в саппорт.

Отдавать напрямую с S3 дорого.
Если мы говорим о дешевых хостингах, таких как hetzner \ datashack \ DO, то отдавать с них не всегда эффективно, если вам важна скорость доставки контента до клиента. Возможно у какого нибудь phoenixnap лучше доставка, но и сервера там дороже.

Answer 4

[Степан]

Дешевле будет взять несколько серверов с ssd и нормальными каналами. CDN выйдет раз в 50-10 дороже. Но все конечно зависит от количества трафика..

Comments

[Сергей Протько]

raid на ssd это уже довольно много денег, если выстраивать иерархию (медленные hdd, быстрые, ssd ) по частоте использования, то выходит дешевле но сложнее. + стоимость администрирования, количество гемороя и т.д. Ну и опять же за размещение сервера в стойке и трафик всеравно платить придется. Так что думаю cdn не будет так уж сильно дороже.

[Степан]

@Fesor Сам беру порядка 10 гигабит анлима всего за 1000$. Трафика перекачивается сотни террабайт в сутки. Стоимость даже 100Тб в CDN выйдет дороже чем я трачу в месяц на сервера и каналы.

[Влад Животнев]

@L3n1n 10 гигабит анлима - это ~108Тб в сутки при полной прогрузке канала 24/7.
Откуда у вас там сотни в сутки) ?

Answer 5

[Виталий Никсенкин]

купил бы дешевый сервер где выделенные каналы

Answer 6

[PetrBeliy]

Идеальный вариант - это аренда сервера, не майтесь дурью с "облаками"