Куда класть soho/стартап бэкапы?

Question

[NAI]

Вопрос одним предложением: в какие облака можно бэкапить 1 Тб файлов(исключая webdav и двухстороннюю синхронизацию)?

Есть маленький стартап со своим bare-metal сервером под нейронки. Каллокейшен, по традиции, в кладовке у кофаундера.

Вопрос с бэкапами. Сейчас датасет (полезные данные) занимает порядка 750 Гб и потихоньку растет. Есть ощущение что через год шагнёт за 1-1.5 Тб. Датасет - набор файлов, без БД.
Сейчас бэкап организован через restic(rsync) в rsync.net (сжатие, шифрование), стоит удовольствие ~20$/мес

Хочется альтернативного решения, т.к. скорость аплоада 10 мб/с (и это не ограничение прова). Т.к. датасет обновляется волнообразно (за раз может прилететь 100 Гб), синхронизация идет несколько дней.

Чего не хочется - костылей с webdav, двунаправленной синхронизации(g.drive, я.диск и пр), увеличения расходов.

Есть возможность оплачивать иностранные сервисы, но не хочется получить бана по IP(сервак в РФ)

Рассматривали
Кибербэкап с 1Тб облака - вышло 35+ тыщ/год, т.к. сервер на win2019 и редакция нужна соответствующая
TrueImage - стоимость 180$/год, экономия не сильная, но есть вопросы по скорости (как оно будет с серверами из штатов)
S3 у селектела/яндекса - вышло почти 4к/мес (холодное/ледяное дешевле, но совершенно непонятно как оно поведет себя при обновлении данных, непонятно количество запросов)

Comments

[shurshur]

В любом случае, имеет смысл хранить ещё один запасной бэкап где-нить на диске у себя дома, можно даже не совсем регулярный, на случай совсем внезапной ситуации.

Answer 1

[Drno]

У Вас уже сделан самый логичный вариант - отдельная железка + rsync
возможно имеет смысл просто поменять место куда бэкапите. например на 62yun или aeza

Comments

[NAI]

Спасибо за ссылки, посмотрю. В целом да, по сути способ не принципиален, хотелось бы скорости побольше чтобы не ждать неделю полного синка (rsync.net через 2 суток дропает сессию)

[Drno]

NAI, так всё наверно от канала зависит. Ну и rsync же умеет синкать только измененные файлы

Answer 2

[Zettabyte]

Каллокейшен, по традиции, в кладовке у кофаундера

Если у вас в самом деле такое calo (что совсем не плохо, если всё работает, как надо), то что вам мешает добавить в ту же кладовку локальную железку?

Мини-сервер, NAS, жёсткий диск в боксе, в конце концов. Имеющийся бэкап, понятно, не убирайте, чтобы было три экземпляра данных.

Есть возможность оплачивать иностранные сервисы, но не хочется получить бана по IP(сервак в РФ)

Нормальным провайдерам на локацию клиента плевать от слова совсем. Ну может разве что к "традиционным / старым" "кровавым режимам" придерутся. Но мы не в их числе.

Немало кто так наоборот, обрадуется, если криптой платить будете.

Comments

[NAI]

что вам мешает добавить в ту же кладовку локальную железку?

Бэкап лежащий в том же месте не бэкап, а так... копия. Отключение интернета\ЭЭ превращает все в тыкву. Ну и если кофаундер вдруг решит что-ндь учудить (маловероятно, но не ноль).

Нормальным провайдерам на локацию клиента плевать от слова совсем.

Тут такое дело, что с одной стороны РКН может начать банить всех направо и налево, как это было с сетями клудфларе. Что им помешает долбануть, скажем AWS\Hetzner? С другой санкции и шанс попасть в SDN-лист, всякие вагранты и докер.хабы взяли и забанили всю страну. Тот же хетснер, кажется тоже от греха подальше решил дистанцироваться. Как-то не очень хочется через полгода заново все переделывать =)

Немало кто так наоборот, обрадуется, если криптой платить будете.

Вот с чем точно никто не хочет связваться так это с криптой. У нас есть физик в штатах с картой.

[Михаил Ливач]

NAI,
1) бэкап в кладовке у другого кофаундера.
2) раз сейчас синхронизация идёт несколько дней, то можно приходить к кофаундеру с внешним диском(типа WD My Book), и пить чай, пока оно копируется. ( Если, конечно, вы в одном городе )

[Zettabyte]

NAI,

Отключение интернета\ЭЭ превращает все в тыкву

А с вашими вариантами разве так не будет?
Ну и в целом это уже не резервная копия, а fault tolerance, failover protection, и подобные умные слова.

Ну и если кофаундер вдруг решит что-ндь учудить (маловероятно, но не ноль).

Разумно, но это не совсем технический вопрос.
Как предлагает Михаил Ливач выше, один из вариантов - это ходить в гости, например, с внешним SSD, поддерживающим USB 3.2.

Что им помешает долбануть, скажем AWS\Hetzner? С другой санкции и шанс попасть в SDN-лист, всякие вагранты и докер.хабы взяли и забанили всю страну.

Слишком монструозных провайдеров рассматриваете.
Разумеется, тут с обеих сторон возникнет политота, причём с той стороны уже много раз её было больше.

Вот с чем точно никто не хочет связваться так это с криптой.

Не знаю кого вы подразумеваете под "никто", но я видел хостеров, которые за оплату криптой зачисляли +% от суммы на баланс, либо давали скидку.

У нас есть физик в штатах с картой.

Это да, однозначно отличный вариант.

Answer 3

[rPman]

Мне кажется вы перечислили самые дешёвые варианты, amazon s3 glacier deep будет тоже уровня цены.

Если нужна какая то независимость от санкций (серая зона), то предлагаю посмотреть на криптопроекты типа siacoin, инструментарий и сообщество в стагнации, но вот как хранилище работает до сих пор.

Не представляю что то дешевле чем хранить данные там (порядка 2..5$/м за терабайт +-)... Когда-то по тестам скорость там получалась сотни мегабит, но логично лучше тестировать в своей локации, это ведь как торренты.

https://siascan.com/ смотреть на цену тут с осторожностью, так как могут не учесть x3 резервирование по умолчанию, лучше поставить клиент и смотреть цены там.

Comments

[NAI]

Выглядит как- то не сильно продуктово

В целом с тем же успехом могли затолкать наши данные в ipfs и раздать себе же =) но это все както-то опять таки не тянет на нормальный бэкап

[rPman]

NAI, нет, это не так.
ipfs обязует вас самих контролировать место хранения данными, siacoin (и не только но я изучал только его) использует анонимную и децентрализованную систему ответственности (в пределах залога) за хранение/прием/передачу данных плюс технологии типа торрент (данные хранятся у минимум 40 случайных участников с тройным резервированием, я точно знаю что этим можно управлять, но давно не смотрел).

Т.е. вы заливаете в это абстрактное облако данные (точно помню был инструментарий в формате s3), оплачиваете некоторую сумму в криптовалюте, и в пределах оговоренного срока (обычно 3 месяца, само собой есть автопродление) вы сможете забрать эти данные. Стоимость и выбор на каких нодах хранить свои данные вы можете сделать сами (по умолчанию случайно).

Само собой, данные зашифрованы, и единственное что о вас знают участники - это ваш ip адрес, с которого к ним приходят запросы upload/download.

У проекта, как и у всех других проектов в криптоэкономике, есть организационные проблемы, но они крутятся вокруг механизмов майнинга, а собственно саму система хранения ... ее будут трогать в последнюю очередь, так как это та основа, которая позволяет проекту держаться годами.

Answer 4

[Saboteur]

Я так понял вы просто хотите еще один бэкап в другой физической локации.
1) посмотреть коллокейшн вашей железки у какого-нибудь другого провайдера, если такое еще бывает.
2) разместить свою железку в любом другом офисе (даже не обязательно вашей а просто дружественной компании), с нормальным инетом, обеспечив независимую территориальную локацию.
3) можно даже у кого-то дома, был бы гигабитный инет.