kal1sha
@kal1sha
Full stack developer

Где закупить много дискового пространства?

Есть много терабайт данных. Хотим найти сервис чтобы хранить все в одном месте. Желательно чтобы сервис имел API.
Данные через время достигнут отметку в петабайт.
  • Вопрос задан
  • 2442 просмотра
Пригласить эксперта
Ответы на вопрос 13
Jump
@Jump
Системный администратор со стажем.
Если потребители данных находятся по всей планете - Amazon S3
Если потребители данных сосредоточены в одном регионе - аренда серверов в ДЦ этого региона.
Если потребители данных вы сами - размещение на своих серверах или аренда серверов в ближайшем ДЦ.

Для точного ответа мало данных.
Неизвестно насколько критична для вас скорость загрузки и выгрузки данных в хранилище и какая скорость нужна.
Неизвестно где находятся потребители данных.
Неизвестно холодные данные или горячие.
Неизвестно какую нагрузку по чтению и записи должно выдерживать хранилище.
Неизвестно какая цена является для вас приемлемой за объем и за трафик.
Ответ написан
@pcdesign
Amazon S3 Glacier приходит на ум.
Ответ написан
@rPman
Все зависит не от количества данных на хранение, а на то что с этими данными вы собираетесь делать? нужен ли оперативный доступ к ним? какой сетевой трафик ожидается?

Затем берете калькуляторы облачных провайдеров и считаете. Почти наверняка amazon из-за сетевого трафика вам будет слабо подходить... с другой стороны, больше 10-20 терабайт и адекватный выбор у вас сразу ограничен парой тройкой вариантов.

Сочувствую.

Попробуйте посчитать, во сколько вам обойдется создание собственного хранилища. Ведь размер требований у вас меняется со временем - идеальный вариант по затратам, если вы можете позволить себе в месяц покупать по 1-2 десятитерабайтовых диска. даже если вы сколхозите что то на базе десктопных материнок и кустарных корпусов, затраты на эту возню будут на порядок ниже того что вм предложат в облаках (к сожалению кустарные корпуса могут не принять в датацентре на содержание).

Проблемы десктопное железо создаст вам где то далеко за несколько петабайт. но по возможности ищите железо с поддержкой ECC RAM, сейчас это реально и не дорого.

p.s. настоятельно советую raid1 или минимум raid6 но не больше 6 дисков в одном рейде, само собой только софтварный и в идеале, не размещать один массив на одной машине
------------------------------------------------------

Посмотрите, подойдет ли вам siacoin, одно время там хвастались железками на сотни терабайт, как устройства для майнинга и было выпущено приличное их количество и они тупо простаивают. Цены на это удовольствие могут оказаться очень интересными.
https://sia.tech
2.9PB Storage Capacity
301 Storage Providers
173TB Used Storage

$0.11 $/TB/Month median price
Ответ написан
@lossyy
Даже подбирать сервис без вводных данных по требованиям к передаче хранимой информации - бессмысленно. Так как можно найти недорогой Китай, но затем тянуть данные обратно сможете со скоростью 2-20 мбит, что вас может устраивать а может и кардинально нет. Так что - хотите готовый рецепт, скиньте ингридиенты.
Ответ написан
При таких объемах, нужно своим хозяйством обзаводится, причем размещать в 2х разных местах и зеркалировать. Если нет знаний в настройке/подборе железа/ЦОД нанять админа или взять по аутсорсингу.
Ответ написан
webinar
@webinar
Учим yii: https://youtu.be/-WRMlGHLgRg
https://www.backblaze.com/b2/cloud-storage-pricing.html
5c8f952d8ce8e307353107.png
Итого просто хранение обойдется в 5000$ - 20000$ в месяц за петабайт

Как вариант можно купить много 16гб флешек на aliexpress по 150 рублей за штуку. Много хабов и скотч. Получится где-то около 200 000 $. Но за то на такой изврат можно на кикстартере попробовать средства собрать. Но тут будут сложности с api. Можно спонсоров привлечь, например производителя удлинителей. Запустить проект на телеке. Огромные перспективы рисуются.
Ответ написан
dayofadmin
@dayofadmin
dayofadmin
у Амазона или Китайцев (забыл название сервиса), открытых публичных вариантов пока нет.
Ответ написан
dimonchik2013
@dimonchik2013
Твой торт с каждым годом горит всё ярче
сервера дешевле любого сервиса по определению
Ответ написан
opium
@opium
Просто люблю качественно работать
Если есть деньги то Амазон с3 плюс клаудфларе
Если денег нет то купит дешёвый сервер в хетзнере около 60-70 евро в месяц за два диска по 8 тб
Ответ написан
Sanes
@Sanes
!
Если жалко денег, то собирайте своё хранилище.
Ответ написан
Astrohas
@Astrohas
Python/Django Developer
ИМХО, пилите собственный сервер. Петабайт хардов обойдется вам в 256 * 110$ = ~30 000$. + Еще несколько десятков тысяч на инфраструктуру и прочее
Ответ написан
@dnight
Можем предложить S3 хранилище от МегаФона цена будет лучше чем у blackblaze
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы