Какие существуют способы обеднения серверов?

Question

[Сергей Тищенко]

Доброго времени суток.

К примеру, есть сервер на которых работают различные микросервисы под управлением RabbitMQ. В дальнейшем, при росте нагрузки, появилась необходимость вынести некоторые сервисы на отдельные сервера. Как их можно объединить, чтоб они видели RabbitMQ. Из тех способов что я нашел в интернете:
- Проброска портов через ssh. Возникли сомнения из-за стабильности соединения.
- Создание VPN сервера и добавление всех серверов во внутреннюю сеть.

Существуют ли еще какие либо способы реализации данной задачи?

Answer 1

[Сергей Тищенко]

Всем спасибо за советы, и прошу прощения, забыл в описании упомянуть что для создания микросервисов используется docker. На основании советов и дополнительном поиске нашел решение в виде docker swarm (kubernetes, mesos).

Answer 2

[Vladimir Zhurkin]

К примеру, есть сервер на которых работают различные микросервисы под управлением RabbitMQ. В дальнейшем, при росте нагрузки, появилась необходимость вынести некоторые сервисы на отдельные сервера. Как их можно объединить, чтоб они видели RabbitMQ

Если вы можете оставаться в приделах одного ДЦ, вы остаетесь в приделах одного ДЦ.
При этом понимаю, что дата центр любое помещение где у вас сервера. Хоть дома на балконе.
Если вам пришло время рости больше чем один ДЦ и думать об распределенных задачах, значит и связность вам надо делать распределенной. Этот вопрос не так прост, как может показаться изначально. Действительно, можно воспользоваться VPN каналом и кажется ну вот же клево то ? Но теперь представим, что vpn канал упал, а ДЦ продолжает работать. Что дальше будет делать ваше приложение ? Как оно будет работать и как будет восстановлено связность записей когда VPN вернется ?

Поэтому да, ответ VPN в том или ином виде решает эту проблему, но не забываем строить распределенную архитектуру и думать об отказах которые могут быть. Можно сделать открытом канал, через который общаются клиенты и уже например синхронизировать между собой связность ДЦ между собой по этим каналам. Конечно не надо оставлять наружу порты RMQ, mongodb,mysql и других сервисов. По хорошему надо делать только 1 точку входа по vpn,а наружу оставлять только минимально необходимое в работе.

Comments

[Sanes]

как будет восстановлено связность записей когда VPN вернется ?

А что должно случится с VPN, если в ДЦ сетка мигнула?

[Vladimir Zhurkin]

Sanes: Так вопрос не про VPN же. Он понятное дело поднимется.
Я намекаю на то, что должна быть еще одна сущность, которая будет например распределять записи между БД . Например ДЦ1 - это cluster1 , ДЦ2 - это cluster2. У них по три node например mysql.
У вас между cluster1 и cluster2 vpn и у вас нет четкого деления на cluster1 и cluster2, у вас это просто единый cluster. Когда у вас упадет vpn у вас пропадет связность между ними и как минимум все встанет колом . По хорошему еще нужен будет cluster3 для кворума, но это не обязательно. По хорошему будет внешний условно "балансировщик" , который будет понимать куда передавать запросы. Когда у вас потерялось связность, встать в режим RO. Балансировщик может быть не один , а несколько - которые будут независимо друг от друга мониторить еще и живучесть ДЦ. Ну канал где-то на магистрали упал, такое бывает и часто.

Answer 3

[rPman]

Поднимайте vpn, не вздумайте открывать порты наружу как предлагают выше, вся внутренняя кухня должна быть закрыта на доступ извне.

Comments

[Sanes]

Как вы собираетесь управлять сервером, если все порты извне закрыты? В ДЦ поедете?

[rPman]

хорошей практикой является отдельная машина для управления, подключенная с основной локальной сетью, вот через нее и подключайтесь.

смысл в том чтобы публичный сервис давал только тот функционал, который публичен, вся внутренняя кузня должна быть закрыта и засекречена.

Например такую схему предлагают сервисы защиты антиддос, там ip реальной машины не публичен или засекречен (локальные сети до антиддос провайдера обычно на дорогих тарифах), кстати vpn поднимать желательно инструментами самого провайдера, надежнее и обычно быстрее.

Answer 4

[Sanes]

О каких VPN вообще речь? Вы сервер без публичного IP собираетесь брать?
Другое дело, если у вас сервер разделен на контейнеры или VDS в серой сети хоста.

Answer 5

[marataziat]

Кластер :)?

Answer 6

[Пума Тайланд]

какую то вы ересь пишите
просто рабит висит на одном сервере у вас на него за раббитом с микросервисов и ходите, зачем тут что то обьединять