Как объединить географически распределенные офисы?

Question

[Onegai]

Всем здравствуйте! Есть сеть из примерно 20 офисов в РФ и Казахстане. Какого-то отдельно выделенного ценностного офиса нет, все более-менее равнозначны. Везде есть свой небольшой сервачок, /24 сетка, хосты, и роутер. В большинстве своем Микротики, а где что-то другое, постепенно заменяется на Микротики. Встала задача объединить всё это хозяйство. И вот уже несколько дней пробую разное. Сначала думал о чём-то что-то типа full mesh. Когда понял, сколько будет соединений, отказался. Теперь вот думаю, что нужно назначить пару каких-то центральных офисов, и подключать остальные к ним. Но тогда на них будет большая нагрузка. И делать нужно будет два в РФ, и два в Казахстане. По два, для отказоустойчивости, и в разных странах, для ускорения. Что тоже не упрощает конфигурацию. Может есть какой-то оптимальный метод, не слишком замороченный, но достаточно удобный, и функциональный.
Часто сталкивался с ситуацией, когда нужно к центральному офису подключить несколько филиалов, и тут особо проблем не возникало. А вот с таким сталкиваюсь впервые

Comments

[AlexVWill]

И вот уже несколько дней пробую разное.

Сама суть постановки вопроса и его текст намекают на то, что для этого лучше обратиться к профильному специалисту, который точно знает как... Начать надо с постановки задачи в подробном виде (что, где, в каком количестве и на каком оборудовании и на каких каналах), и с топологии сети как есть, и как должно быть. И, самое главное, с описания бюджета и затрат (идеально если первое больше чем второе). Если есть у кого то иллюзия, что главное начать, а там посмотрим - то лучше не начинать. Всеравно придется все делать как я написал, но только потратив время и ресурсы.

[Юрий MikroTik]

AlexVWill, потом оказывается все 5000 офисов в одном backbone и внутри сети работает NAT...

[Valentin Barbolin]

Zerotier, для нормальной скорости надо белые адреса и открытый порт udp/9993

[Dmitry]

есть такое слово SDWAN и еще есть такое слово MPLS. Но да, лучше обратиться в профильную организацию.

[Sasha Odarchuk]

ТС, какова ваша цель? Что хотите получить обьеденив все бранчи?

[Onegai]

Цель - централизованное управление. В данный момент техподдержка происходит следующим образом - RDP до сервера, оттуда подключение к необходимому ПК. Хочется единую точку входа. В некоторых городах есть по несколько офисов, нужна доступность ресурсов соседних офисов. Домен опять же нужен. Удаленные сотрудники подключаются, и часто к разным офисам, тут тоже хотелось бы единую точку ввода.

Бюджета практически нет, хотелось бы по максимуму обойтись тем что есть. Но видимо придётся закупать в пару точек что-то более производительное, чем hap ax3

Answer 1

[Юрий MikroTik]

2 юнита колокейшен в цоде, в них 2 CCR2116, между которыми ospf backbone
2 провайдера в оба ccr
Затем строить 4 туннеля из офиса к двум провайдерам в цоде на разные ccr

Для другой страны аналогичная пара.
Между странами отдельный ospf.

Comments

[AntHTML]

А нафига CCRы, чем CHR не справится? Думаю жирный WG, со всякими обусфикациями, там не надо.
И межу vds-ами хватит перекретных active-stendby тунелей.

[Юрий MikroTik]

AntHTML, для CHR надо 2 сервера держать для отказоустойчивости, это дороже, чем CCR.

[AntHTML]

Юрий MikroTik, так CHRы можно вообще удаленно в разных цодах запилить
Ну как минимум на первое время, дальше если не будут справляться - можно перейти и на CRS
А по отказоустойчивости - нужно по месту считать, мож там 2 ноды и не надо

[Юрий MikroTik]

AntHTML, можно, у нас так работает. Но я все равно за железные CCR.
Если делать для компании, то ни о какой аренде VDS для CHR не может быть речи. Только колокейшен или целая стойка, а в нее оборудование. И тут выходит что пара CCR дешевле сервера.

Answer 2

[Кот Абсолютный]

Два мастер-сервера в РФ, два в РК, туннели только с ними, все со всеми вряд ли нужно. Между ними отдельные туннели.
Нужно только помнить, что с трансграничной связкой могут быть проблемы нетехнического плана.
А так-то ipsec - пушкабобма :)

У меня сейчас 10 юзеров на VPN сидит, ccr1016 загружен на ... 4% :)

Comments

[Onegai]

Вот я тоже все больше и больше склоняюсь к такой схеме. 2 в рф, 2 в рк, между ними полная связность. В РФ все подключаются к своему, в КЗ к своему. Один основной, второй резервный, на случай, если основной упадёт. Пака склоняюсь, правда к WG+OSPF

[Юрий MikroTik]

Onegai, WG невозможно дебажить

Answer 3

[Drno]

Либо классический ВПН.
Либо p2p - типа zerotier \ tailscale \ netbird - со своим контроллером
Либо платный p2p

spoiler

https://productlab.one/giraffic

Лично я пару лет назад перешел на p2p с обычных ВПН. Лично я - доволен как оно работает

Answer 4

[say_TT_plz]

Если нет центрального офиса, то проще всего через ipsec в туннельном режиме.
Я бы заморочился с настройкой из ansible.
То есть делаем на ipsec сеть, mikrotik вроде умеет делать транслировать политику ipsec на другой микротик. Где один мастер, другой просто принимает соединение. Но, все равно нужно изначально настроить с обоих сторон.
То есть в максимуме будет связь всех со всеми. И она будет наиболее устойчивой.
Из минусов, нельзя будет сделать резервирование через другой канал, если нет белых ip с обоих сторон.
Из плюсов, на микротик это легко сделать, аппаратное шифрование, нет нагрузки на роутер.
Чтобы сделать это на 20 микротов каждый с каждым, без написания скриптов не получится. Я бы сгенерил дефолтный конфиг на одном микроте, выгрузил его и использовал бы его как шаблон. Микрот вроде позволяет сохранить конфиг в виде скрипта. Вырезать лишнее, вставить переменные и через ansible катить по ssh на все узлы.
Возможно, нет потребности прям каждый с каждым, но есть узлы которые точно должны быть в доступе у всех. Их выделить, сделать соединение с каждым и между собой. Но я бы не парился, если с автоматизацией, то без разницы.
Главный минус, трафик в ipsec в туннельном режиме пролетает мимо файрвола и маршрутизации, сразу в локалку. Это и плюс с другой стороны, нагрузка на роутер минимальна.
Я делал что-то подобное, но вручную и на гораздо меньше количестве.

Comments

[say_TT_plz]

Насчёт игнорирует маршрутизацию это я хватил, после распаковки ipsec пакета микротик поступит с ним как с обычным пакетом. Но могу и соврать, давно не настраивал.

[Кот Абсолютный]

say_TT_plz, Каждый с каждым вряд ли есть необходимость.