Где закупить много дискового пространства?

Question

[Dmitry Kalinin]

Есть много терабайт данных. Хотим найти сервис чтобы хранить все в одном месте. Желательно чтобы сервис имел API.
Данные через время достигнут отметку в петабайт.

Answer 1

[АртемЪ]

Если потребители данных находятся по всей планете - Amazon S3
Если потребители данных сосредоточены в одном регионе - аренда серверов в ДЦ этого региона.
Если потребители данных вы сами - размещение на своих серверах или аренда серверов в ближайшем ДЦ.

Для точного ответа мало данных.
Неизвестно насколько критична для вас скорость загрузки и выгрузки данных в хранилище и какая скорость нужна.
Неизвестно где находятся потребители данных.
Неизвестно холодные данные или горячие.
Неизвестно какую нагрузку по чтению и записи должно выдерживать хранилище.
Неизвестно какая цена является для вас приемлемой за объем и за трафик.

Answer 2

[pcdesign]

Amazon S3 Glacier приходит на ум.

Comments

[d'Ivan]

Этот сервис предназначен для хранения холодных данных.

[Dimonchik]

или для богатеньких

[АртемЪ]

dimonchik2013, Самый дешевый сервис для хранения холодных данных.
Дорогое там срочное извлечение из хранилища, запросы, и трафик на скачивание.
Если вам нужно просто хранить, скорость извлечения не важна и вы готовы подождать, запросы на извлечения нечастые, и скачивать будете редко - то все очень дешево.

Answer 3

[rPman]

Все зависит не от количества данных на хранение, а на то что с этими данными вы собираетесь делать? нужен ли оперативный доступ к ним? какой сетевой трафик ожидается?

Затем берете калькуляторы облачных провайдеров и считаете. Почти наверняка amazon из-за сетевого трафика вам будет слабо подходить... с другой стороны, больше 10-20 терабайт и адекватный выбор у вас сразу ограничен парой тройкой вариантов.

Сочувствую.

Попробуйте посчитать, во сколько вам обойдется создание собственного хранилища. Ведь размер требований у вас меняется со временем - идеальный вариант по затратам, если вы можете позволить себе в месяц покупать по 1-2 десятитерабайтовых диска. даже если вы сколхозите что то на базе десктопных материнок и кустарных корпусов, затраты на эту возню будут на порядок ниже того что вм предложат в облаках (к сожалению кустарные корпуса могут не принять в датацентре на содержание).

Проблемы десктопное железо создаст вам где то далеко за несколько петабайт. но по возможности ищите железо с поддержкой ECC RAM, сейчас это реально и не дорого.

p.s. настоятельно советую raid1 или минимум raid6 но не больше 6 дисков в одном рейде, само собой только софтварный и в идеале, не размещать один массив на одной машине
------------------------------------------------------

Посмотрите, подойдет ли вам siacoin, одно время там хвастались железками на сотни терабайт, как устройства для майнинга и было выпущено приличное их количество и они тупо простаивают. Цены на это удовольствие могут оказаться очень интересными.
https://sia.tech

2.9PB Storage Capacity
301 Storage Providers
173TB Used Storage

$0.11 $/TB/Month median price

Comments

[Довольный Айтишникъ]

настоятельно советую raid0

Зачем это рекомендовать? Вылетит один диск и прощай все данные? Может вы хотели написать raid1 или raid10?

[rPman]

Довольный Жизнью, ой да попутал, сейчас поправлю, 1 конечно же

[Довольный Айтишникъ]

rPman,

само собой только софтварный

ой весело вам его восстанавливать будет, полноценный железячный рейд получше

[rPman]

Довольный Жизнью, вы серьезно или тролите?
софтварный рейд абсолютно не привязан ни к вендору ни в принципе к железу, можно даже просто скопировать побайтно диск и радоваться

Железные же рейды хороши в производительности и может быть софтварной поддержке (мониторинг например) но намертво привязывают вас к одному вендору, плюс это тупо дорого.

[Довольный Айтишникъ]

rPman, я по практике вижу, нормальной железке отключение электричества не страшно, а софтварный рейд довольно часто при таких фокусах разваливался. Имея такие объемы данных экономить на контроллере будет как минимум глупо.

[Армянское Радио]

Какие рейды при петабайтных объемах? Это размеры кластера типа ceph

[rPman]

Конечно все так, но ответьте на вопрос, какие контроллеры, наиболее дешевые само собой, не создадут проблем при отключении электричества если нет речи о высокой производительности?

И еще, вендорлок аппаратных контроллеров это головная боль, если мы говорим о попытках сэкономить (помню мне плакались про контроллеры, которые вставляют в материнки десктопного железа, лет десять назад столько народу крови это попило). Если у вас деньги из карманов вываливаются, вы сертифицированную скобку для крепления диска купите, но тогда что вы тут делаете, идите в облака, вам все будет там удобно и без гемороя.

Answer 4

[lossyy]

Даже подбирать сервис без вводных данных по требованиям к передаче хранимой информации - бессмысленно. Так как можно найти недорогой Китай, но затем тянуть данные обратно сможете со скоростью 2-20 мбит, что вас может устраивать а может и кардинально нет. Так что - хотите готовый рецепт, скиньте ингридиенты.

Answer 5

[Анатолий]

При таких объемах, нужно своим хозяйством обзаводится, причем размещать в 2х разных местах и зеркалировать. Если нет знаний в настройке/подборе железа/ЦОД нанять админа или взять по аутсорсингу.

Answer 6

[Максим Тимофеев]

https://www.backblaze.com/b2/cloud-storage-pricing.html

Итого просто хранение обойдется в 5000$ - 20000$ в месяц за петабайт

Как вариант можно купить много 16гб флешек на aliexpress по 150 рублей за штуку. Много хабов и скотч. Получится где-то около 200 000 $. Но за то на такой изврат можно на кикстартере попробовать средства собрать. Но тут будут сложности с api. Можно спонсоров привлечь, например производителя удлинителей. Запустить проект на телеке. Огромные перспективы рисуются.

Comments

[Astrohas]

8 tb флешек будет стоит около 1500 баксов. За эти деньги можно хардов на 100тб понакупить. И соединить изолентой

[Максим Тимофеев]

Astrohas, Тоже вариант, но флешки веселее. Харды это уже похоже на разумное решение. А если еще и ssd. На такое денег никто не даст.

Answer 7

[Владислав Бурунов]

у Амазона или Китайцев (забыл название сервиса), открытых публичных вариантов пока нет.

Answer 8

[Dimonchik]

сервера дешевле любого сервиса по определению

Comments

[Dmitry Bay]

А обслуживание? Отработка на отказ? Без грамотных спецов не очень разумно строить хранилища на 1+ петабайт.

[Dimonchik]

рейды справляются, но вообще, если бюджеты позволяют

я когда-то прикидывал разницу в 6 раз по стоимости, возможно, под ваши задача она не будет столь разительна

[Алексей Кириллов]

dimonchik2013, расчеты остались? было бы интересно взглянуть

[Sanes]

Dmitry Bay,

А обслуживание? Отработка на отказ?

Всё равно дешевле.

Answer 9

[Пума Тайланд]

Если есть деньги то Амазон с3 плюс клаудфларе
Если денег нет то купит дешёвый сервер в хетзнере около 60-70 евро в месяц за два диска по 8 тб

Comments

[Sanes]

Сколько нехватает до петабайта?

[Пума Тайланд]

Sanes, а не увидел про петтабайт ну там же берешь сервера по 300 евро на 15 дисков по 10 тб, ну и в Амазоне можно скидку спокойно получить на такой объем, причем лично большую

Answer 10

[d'Ivan]

Amazon S3 и все-все-все: выбираем объектное хранил...

Answer 11

[Sanes]

Если жалко денег, то собирайте своё хранилище.

Answer 12

[Astrohas]

ИМХО, пилите собственный сервер. Петабайт хардов обойдется вам в 256 * 110$ = ~30 000$. + Еще несколько десятков тысяч на инфраструктуру и прочее

Answer 13

[dnight]

Можем предложить S3 хранилище от МегаФона цена будет лучше чем у blackblaze