AWS vs GoogleCloud vs DigitalOcean – как выбрать облако?

Question

[J. Snow]

Привет всем!
Есть растущий стартап, который на данный момент хостится на обычном VPS.
Требуется:
- перенести базу данных (MySQL) в облако;
- хранилище файлов в S3-совместимый object storage;
- а так же в ближайшем будущем разделиться на микросервисы (docker + k8s).

Вопрос: Какого облачного провайдера выбрать: AWS, GoogleCloud или DigitalOcean?
Насколько надёжный DigitalOcean?
Насколько запутанные AWS и GoogleCloud?
Хотелось бы узнать ваш личный опыт, и опыт ваших знакомых. Ну и вообще любые плюсы и минусы.

Вопрос 2: В случае, если выбранный провайдер не понравится, то насколько сложно будет выполнить переезд и перенос терабайтов данных от одного провайдера к другому?
Как вообще выполняется перенос огромных баз данных?

Спасибо!

Comments

[Евгений]

А что никто не смотрит yandex.cloud или selectel ?

[J. Snow]

Евгений, потому что речь идёт о world-wide стартапе.

[Игорь Воротнёв]

Евгений, нет

Answer 1

[Иван Шумов]

Итак, для начала DigitalOcean - НЕ ОБЛАКО. Это просто набор связанных сервисов. Зайти в DigitalOcean очень просто, выйти тоже, все понятно и прозрачно но там даже горизонтального масштабирования нет. Это слегка прокачанные те же VPS-ки.

Теперь по всему остальному. Есть золотая троица AWS/Azure/GCP, но тут начинают играть другие правила.

1. Стоит обратить внимание на то что им действительно надо учиться и это занимает время. Чтобы сделать решение, а не поделку и не влететь на деньги месяца не хватит ибо там очень много всего.
   
2. Я могу сказать что переезд из одного облака в другой возможен при двух условиях: вы пользуетесь только базовыми сервисам (вроде виртуалок, БД, S3) и у вас есть 2 архитектора с сильным пониманием этих облаков
   
3. Два архитектора по тому что я не знаю ни одного такого человека кто потратил достаточно сил и вник сразу в несколько облаков достаточно глубоко. Я был там везде и в результате все-равно остановился на AWS, хотя Azure и GCP имеют свои преимущества
   
4. Про сервисы - ехать в облако и не пользоваться особыми сервисами и фичами этого облака - дорого и глупо
   
5. А самое интересное что сделать и мигрировать проект проще чем обучить людей и изменить подходы к прайсингу
   
6. Миграция в облако и из облака - не делается по щелчку пальцев, особенно если есть много данных
   

По AWS могу поделиться гайдами как туда ехать, да и у них Cloud Migration очень понятный раздел с документацией. Если сравнивать эти облака то:

• AWS - serverless, cutting-edge solutions, прозрачная инфраструктура
  
• Azure - экосистема от MS, прекрасный CosmosDB (но это скорее про цены)
  
• GCP - глобальные ресурсы, BigData
  

При этом большинство этих фич в том или ином виде есть в других облаках.

И маленькая ремарочка по k8s. Если вы едете не в GCP то он вам не нужен. AWS и Azure сделали так что вы можете его туда удобно загнать, но это будет дороже. Тот же AWS ECS + Fargate куда удобнее и я не знаю тех System Engeneer что по собственному желанию пересаживались с этого на k8s

Comments

[Andrey_Dolg]

Если я к примеру не использую ничего кроме EC2 инстанса. Это простой парсер и единственная загвоздка это то что даже со слоем прокси он должен иметь скорость свыше 330 запросов в секунду. Api и задачи для lambda в итоге всё равно переехали на инстанс сервера просто потому что так оказалось проще. На сколько я ошибаюсь используя aws, на ваш взгляд и опыт?
Возможности и нужды системы покрывает уровень c5.lager а трафик пока визуально за месяц не выходит за 5TB.

[Иван Шумов]

Andrey_Dolg, а фиг его знает. отсюда не видно что парсится, как, по каким правилам, сколько это ест ресурсов и еще много чего) Ну и требований к системе кроме 330RPS не указано

[Andrey_Dolg]

Иван Шумов, Ну если кратко пока нащупал требования фулл up-time 5 TB канал и 330RPS даже при мелких сбоях в сети прокси. Утилизация процессора, 2 vCPU по 3.4, правда всего лишь 50% резерв уйдёт на дополнительные функции.

[Иван Шумов]

Andrey_Dolg, пока ничего впечатляющего. если не удобно переписываться то можешь мне в личку стукнуться - посчитаем. А то наши обсуждения не в тему вопроса

[DevMan]

Andrey_Dolg, и нафига для этого облако, если все колбасится на инстансе?

да возьмите 6 инстансов по 5 долларов, 5 из которых будут колбасить и один будет управлять. будет стоить 30 в месяц при непрерывной работе.
а если по расписанию, то и дешевле.

[Andrey_Dolg]

DevMan, Я посмотрю пока видимо не хватает опыта без итогового инструмента, что бы сформировать точный образ всех требований. Так что пока использую облако да и возможно очередь задач позднее вернётся на реализацию через лямбду. Надо будет ещё увидеть счёт за aws первая версия ела 12$(при в 4 меньшей загружености) но если поправлю все нюансы с производительностью и бесперебойностью то можно будет задуматься о том чтобы что-то переводить. Пока в aws очень радует интернет соединение, отсутствие платы за загрузку CPU и конечно очень хорошая бесперебойность работы инстанса.

[J. Snow]

Иван Шумов, спасибо за столь развёрнутый ответ!

Немного не понятно про DO:

DigitalOcean - НЕ ОБЛАКО ...там даже горизонтального масштабирования нет.

Как же нет? Создавай сколько хочешь Дроплетов, и пусть k8s ими управляет. Чем не горизонтальное масштабирование?
Базы данных и хранилище файлов, я полагаю, у них тоже разделено по разным машинам. На лицо - все признаки облака.

[Иван Шумов]

J. Snow, ну, как минимум там нет централизованной системы безопасности и динамического конфигурирования. Да и опций примерно ноль. Не говоря уже о том чт использование k8s не оправдано примерно никак пока ты не на уровне Энтерпрайз. Это очень дорого и болезненно. В GCP его придумали для GCP, а другие облака подхватили по тому что большие и жирные клиенты не хотели переезжать без этого инструмента. Если у вас стартап то вам в первую очередь смотреть на максимально просто работающие инструменты и максимальную делегацию управления в облако.

Чтобы расти максимально быстро сегодня кроме AWS я серьезно не вижу вариантов. Они сделали прекрасный Fargate чтобы не управлять виртуалками под Docker, ECS + ECR для тех кому надо максимально просто и понятно запускать контейнеры с масштабированием. Тонна Serverless решений, которые вообще на 99% спасают вас от головных болей. Та же Aurora с MySQL интерфейсом и шикарными возможностями к репликации и failover без потери данных. И все за разумные деньги, если считать TCO и сравнивать аналогичный конфиг на других платформах

Answer 2

[Vitaly Karasik]

1. Как при любом выборе - надо составить список требований/критериев, и сравнить насколько каждый продукт удовлетворяет им.
Если k8s - я бы выбрал GCP, там управляемый k8s наиболее продвинутый и стабильный.
AWS - наиболее популярный, соответственно легче найти специалиста.

2.

перенос терабайтов данных от одного провайдера к другому

- это как раз самое легкое.
Перенос "живой" системы всегда дело непростое. Чем сложнее система и больше нагрузка - тем интереснее :-)

Comments

[Иван Шумов]

не обязательно про перенос данных. если это Cold Storage то что там переносить?)

Answer 3

[Fedor4ukin]

В принципе, переезд терабайтов не так сложен. Гораздо сложнее подготовиться к переезду.
Знаю случай, когда одна нефтяная компания три месяца тестировала провайдера на прочность, прежде чем к нему переехать. Миграция, кстати, 4 рабочих дня заняла.

AWS мне кажется чересчур замороченным. Личная неприязнь прямо к нему. Вроде и документация есть, и всё. Но какой-то он унылый. И с саппортом общаться задолбаешься, случись что. Про DigitalOcean рассказали выше. Может, попробовать кого-то из наших? На Хабре проскакивали обзоры.

Comments

[Иван Шумов]

Мне даже интересно, не спора ради, что именно в AWS кажется унылым? И какие были проблемы с саппортом?

Answer 4

[ustas33]

Думаю как и любому стартапу вам в первую очередь нужно решать бизнес задачи и наращивать базу пользователей.
У клауд провайдеров существуют специальные программы для стартапов. Если Вы уже сотрудничаете с бизнес акселератором, можно узнать подробности у них.
У AWS есть программа AWS Activate https://aws.amazon.com/ru/activate/ Могу поделиться контактами AWS Solution Architect for Startups.
У GCP и Azure тоже есть свои программы. Кто Вам больше плюшек даст, тот и папа...
На первых порах я бы максимально пытался всё делать в serverless.
Зачем Вам K8s? Это ненужная сложность для ваших 10-100 контейнеров. У вас стартап же не в администрировании кубера.
Для контейнеров есть более простые сервисы AWS ECS, Fargate, Azure Container Service (ACS).

Мне как раз нужно попрактиковаться в терраформ, я готов помочь.
Телега @Shtir33

Comments

[J. Snow]

ustas33, спасибо за ответ! Написал в Тг.