Существуют ли адекватные сторейдж сервиcы (клауды) для хранения бэкапов?

Question

[VITYA-XY1]

Здравствуйте

Имею в общем объеме 50ТБ данных, когда их объем вырастет до 150ТБ, необходимо либо:
а) менять хостера потому, что он не имеет предложений для хостинга выше 150ТБ. Есть ли у вас такие хостинги на примете которые имеют решение больше 150ТБ
б) искать сервис для хранения по разумной цене, поэтому AWS, Google, Microsoft S3 решения идут лесом (на хостинге мы платим 260 у.е. за 150ТБ. Есть ли схожее решение на клауде, но по разумной цене?
в) собирать из 4 серверов ceph хранилище - отпадает потому, что цена такого хранения вырастает в 4 раза, собирать подобие raid0 за счет glaster тоже отпадает, fuse очень тормозной, знаем пробовали.
г) свои предложения?

Спасибо

Comments

[Иван Шумов]

какая часть из этих данных cold stroage и какая - hot storage? Какой retention policy?

[VITYA-XY1]

Иван Шумов, эта история, только о бекапе, так что наверное все 50ТБ cold, спасибо

[Иван Шумов]

VITYA-XY1, все эти данные нужны или что-то со временем перестает быть актуальным? Сколько времени является достаточным для получения бэкапа? Сколько файлов всего/в месяц?

[VITYA-XY1]

Иван Шумов, извините, к сожалению я не силен в Azure, необходимо перманентное хранение данных с возможностью их перезаписать по необходимосте, какие есть варианты?

[Иван Шумов]

VITYA-XY1, я вообще под AWS S3 смотрю) по тому что когда мы говорим о бэкапах и облаках нужно ТОЧНО понимать сколько каких данных и их жизненный цикл. Иначе все ваше желание выглядит как "хочу скроить, желательно бесплатно"

[VITYA-XY1]

Иван Шумов, все данные нужны но могут быть перезаписаны, на данный момент около милиарда, быстро посчитать проблематично, средний размер 500-600Мб

[Иван Шумов]

VITYA-XY1, я пока на 50TB насчитал в AWS S3 Glacier Deep Archive - 50$/мес.

[VITYA-XY1]

Иван Шумов, можно ли будет перезаписывать файлы? Чем их туда залить? Раньше исользовал s3cmd в режиме синхронизации и накапало 700$, еще вопрос как быстро я их оттуда смогу достать, чтобы залить обратно на сервер и сколько я заплачу за первичную синхронизацию и за востановление данных в случае их потери

[Иван Шумов]

VITYA-XY1, сама идея бэкапов - отсутствие перезаписи. За такие действия я людям руки лично отрывал. Не нужен старый бэкап - удаляем после создания нового. Заливать, как правило, из консоли автоматом через aws cli. Есть ряд продуктов на базе s3, но нужно искать - я занимаюсь проектированием новых решений на базе этой платформы

[Иван Шумов]

VITYA-XY1, синхронизация стоит денег, конечно. На старте будет хорошая такая растрата на стартовый перенос данных в облако. Поэтому я и спрашивал про то сколько данных в месяц нужно бэкапить

[Иван Шумов]

VITYA-XY1, зависит от данных - иногда это сутки, иногда часы или минуты - зависит от того сколько хочется платить за хранение. Чем больше платишь за хранение тем дешевле и быстрее доставать обратно

[VITYA-XY1]

Иван Шумов, да но тогда их объем растет, вот через этот cli мне и набежало 700$ ))
То есть, Вы знаете как правильно спроэктировать, но сколько это будет стоить, после заливки, примерно предположить не можете?

[VITYA-XY1]

И как я понял нельзя срау в ледник залить. Нужно сначала в S3 а оттуда в ледник

[VITYA-XY1]

Иван Шумов, в месяц около 2ТБ данных

[Иван Шумов]

VITYA-XY1, считают уже за деньги в виде работы ибо на это нужно время, более точные данные и все в таком духе. Файлы у вас большие, поэтому скорее всего это не получится оптимизировать по цене. Открываем AWS s3 pricing и считаем внимательно на бумажке.

Не называйте Glacier ледником - от этого аж передергивает. И вы не правы - туда можно залить напрямую)

[VITYA-XY1]

Иван Шумов, спасибо за Ваше время и советы, будем копать дальше сами ;).

[VITYA-XY1]

Иван Шумов, PS: сколько будет стоить посчитать?

[Иван Шумов]

VITYA-XY1, есть разные решения и разные облачные провайдеры, но почти никто не предлагает eleven nines of durability и 6 копий ваших данных

[Иван Шумов]

VITYA-XY1, мне будет лень) я сейчас готовлюсь к последней сертификации уровня Associate) Это я так - расслабиться заскочил и немного помочь людям

[VITYA-XY1]

Иван Шумов, это да, но кому это важно, когда никого из руководства не волнует, как ты хранишь данные и насколько их потеря ударит по бизнесу

[VITYA-XY1]

Иван Шумов, сколько экзаменов нужно сдать для Certified AWS Solutions Architect? )

[Дмитрий]

VITYA-XY1, а если руководство это не волнует, то почему это вас должно волновать?

[Иван Шумов]

VITYA-XY1, тогда просто забиваем. Говорим что бэкапы стоят штуку баксов в месяц и если не готовы то задачу сделать нельзя

[Иван Шумов]

VITYA-XY1,

сколько экзаменов нужно сдать для Certified AWS Solutions Architect? )

я его сдал вторым, но требований к нему нет никаких - только рекомендации)

[VITYA-XY1]

Как понял Вы занимаетесь лишь проэктировкой, всей черновой работой уже страдают Devs, Ops и DevOps или для Ops совсем нет места на AWS?)

[Иван Шумов]

VITYA-XY1, Ops всегда нужен) это вообще очень отверженные и важные ребята, особенно в AWS. Можно пофилософствовать на этот счет вне рамок форума. А черновая работа ... зависит от объемов и глубины. Руки все-равно должны быть по локоть в этом - иначе просто не будет понимания. Так что зависит от команды)

[VITYA-XY1]

Иван Шумов, спасибо за теплые слова ). Удачи Вам во всех Ваших начинаниях и коммандной работе!)

[Иван Шумов]

VITYA-XY1, спасибо)

Answer 1

[Vitaly Karasik]

AWS S3 Glacier уже упоминали. Чтобы оценить стоимость, вы должны прикинуть насколько часто и с какой срочностью вам надо восстанавлтвать данные.
Стоимость хранения небольшая - $0.4/month/TB, и "загрузка" данных бесплатна.
Зато выгрузка (восстановление) - платно - от $0.0025 ( 5–12 hours) до $0.03 за GB, плюс за API calls.
https://aws.amazon.com/glacier/pricing/
Так что посчитать можете только вы сами.
Одно дело если важно только сохранить на "черный день", и совсем другое - если каждый месяц нужно восстановит пару терабайт.

Comments

[VITYA-XY1]

нужно только на черный день, напрямую в glaicer загрузить данные можно, с проверкой их целосности?

[Vitaly Karasik]

да, можно напрямую.

с проверкой их целосности

да, при загрузке можно получить checksum

Answer 2

[ky0]

У Glacier от амазона - неразумная цена?! Похоже, у вас всё совсем плохо с финансами (или с организацией бэкапов)...может ну его, тогда?

Comments

[VITYA-XY1]

или с пониманием важности бэкапов))

[ky0]

VITYA-XY1, понимание важности есть, а составление адекватного плана, дедупликации, инкрементальности - нет? Так, что ли?

[Ярослав]

Тут не то что "плохо с финансами" - вряд ли где-то есть цены сильно ниже.

[VITYA-XY1]

ky0, все куда проще, просто "тимлид" - жид, (жид потому что натура такая, против самих евреев ничего не имею), в данный момент поменял компанию, glacier действительно дешевое решение, но в итоге нашел швейцарский хостинг, который предлагает дешевое хранение данных c триальником на 90 дней, но и его отбраковали, потому, что "дорого"(751,67 € / month за 250ТБ)
(260 € / month за 150ТБ это кстати нулевой рейд)

Answer 3

[Анатолий]

Если Вас устраивает текущий хостер, подключите у него еще тариф или два. У Вас же не 1 копия файла хранится, разнесите "по тарифам". Или к примеру, на одному будете хранить свежее, на другом старые бекапы.

Answer 4

[АртемЪ]

Amazon glacier же.
Он именно для бэкапов.
Из облачных самый дешевый.

Ценник 260 у.е. за 150ТБ это уже на грани - за эту цену никакой избыточности не выйдет, сами подсчитайте.
А облачное хранение без избыточности не получится.

свои предложения?

А это сильно зависит от того что бэкапите и какие требования.
Например я нередко использую схему с обычным файловым хранилищем без избыточности и дополнительно Glacier.
С ледника данные забирать долго и дорого, зато надежность выше, а если быстро надо - есть локальное хранилище.

Answer 5

[Виктор Таран]

Как всегда у них цены самые низкие, да и тарифы вкусные
https://ru.hetzner.com/hosting/produktmatrix/stora...
Из цены убрать еще 20% НДС, вернут

Comments

[idmrty]

А как там теперь НДС вернуть?

Answer 6

[elbrus56]

Backblaze B2