Mikrotik\RouterOS, VPN-туннель между двумя офисами, в каждом по два линка — как настроить?

Question

[fotonboxx]

Добрый день!

Есть офис, в нем резервирование ISP (1 и 2) и есть склад, в нем та же ситуация (ISP 3 и 4).

Тип туннеля - L2TP.

Резервирование - check-gateway=ping шлюза ISP.

После настройки (спасибо dannyzubarev), роутер отвечает на тот интерфейс, на который приходит запрос:

/ip firewall mangle
add chain=input in-interface=wan1-out action=mark-connection new-connection-mark=wan1
add chain=input in-interface=wan2-out action=mark-connection new-connection-mark=wan2
add chain=output connection-mark=wan1 action=mark-routing new-routing-mark=wan1     
add chain=output connection-mark=wan2 action=mark-routing new-routing-mark=wan2
/ip route
add dst-address=0.0.0.0/0 gateway=10.0.0.1 routing-mark=wan1 
add dst-address=0.0.0.0/0 gateway=10.0.0.2 routing-mark=wan2

Т.е. снаружи через винбокс и пингом видны оба линка - и основной и резервный.

Офис служит L2TP-сервером.

К нему через активный в данный момент линк на складе должен подсоединяться VPN-туннель со склада.
Т.е. должны быть подняты одновременно два туннеля, один до ISP 1, второй до ISP2, а уже на роутерах указываются статические марштурты до внутренних сетей офиса и склада с разными distance.

Проблема:
Когда туннель один (до ISP 1 или 2, неважно) все хорошо. Стоит включить второй (секреты, маршруты, IP туннелей, все разное) - то первый отваливается, пытается дозвониться, но тут же отключается. А второй не поднимается вовсе.

Как это поправить?

Comments

[Максим Чиликин]

А в чём схемку рисовал?

[fotonboxx]

@AntiHelper
Visio в шаблоне для блок-схем.

[Wolf KTL]

Решение проблемы тут mikrotik.ru/forum/viewtopic.php?f=1&t=5034&p=26331...

Answer 1

[Dmitry Tallmange]

Поднять два тоннеля одного типа между двумя устройствами у вас не выйдет. Насколько я понимаю, Вы пытаетесь поднять два l2tp тоннеля, нужно один заменить на что-либо другое: ovpn, pptp...
Если ваша цель аггрегация каналов, то существует масса способов осуществить это, но самый правильный, на мой взгляд, - поднять два vpls поверх ваших vpn, которые способны обеспечить мосты между офисом и складом, а уже их, в свою очередь, объединить в bonding. Вот простейший пример.

Comments

[fotonboxx]

@p00h "Поднять два тоннеля одного типа между двумя устройствами у вас не выйдет."

Ограничения RouterOS? Спрашивал у цискарей, там это делается.

"Если ваша цель аггрегация каналов,"
Нет, цель - резервирование и только. Упасть может одновременно два ISP по одному с каждой стороны и все должно работать.

[Dmitry Tallmange]

Никаких официальных подтверждений тому, что это ограничение RouterOS я не видел, но запустить два ovpn между двумя микротиками у меня не выходило ни разу. Однако в 6.х версиях я это уже и не пробовал, возможно что-то поменялось.
Если ISP 2 находится за натом провайдера, то Вы в любом случае не сможете поднять на него тоннель.
Исходя из того, что остальные три адреса - постоянные белые адреса, возможно решить вопрос так. Поднимаем два тоннеля:
ISP2 Client => ISP4 Server
ISP1 Server <= ISP3 Client
А уже поверх, чтобы не париться с маршрутами, проще всего (строго говоря "правильнее всего") поднять OSPF, чтобы забыть об этой проблеме. Ну или статикой разрулить как нужно.

[fotonboxx]

"Если ISP 2 находится за натом провайдера,"
Возможно, неправильно написал. Он за натом, но нат 1:1 на стороне провайдера. То есть, ISP 2 выдал мне адрес 192.168.х.х, и прикрутил на него некий внешний адрес, который только мой.

Раньше ISP 2 был основным линком в офисе, так что на него туннель поднимался и работал.

"ISP2 Client => ISP4 Server
ISP1 Server <= ISP3 Client"
Идея здравая, но так бы не хотелось, т.к. структура неочевидная. А если будет третий офис?

Про OSPF погуглю, пока нужно, чтобы были туннели =)

[Dmitry Tallmange]

А если будет третий офис, то как раз таки вам непременно нужен будет ospf, тогда совершенно не важно каким образом все устройства соединены между собой. У меня сеть из чуть более 50 устройств, объединенных в один большой впн. Когда у меня появляется новое устройство, мне необходимо всего лишь соединить его с ближайшим устройством с помощью любого доступного транспорта и все. Поэтому, не парьтесь по поводу того кто будет сервером, а кто клиентом.

[Кирилл 1]

@p00h пардон, но тогда если на каком то промежутке до центрального офиса кто то будет не доступен конечный абонент не получит доступа к центральному офису ? так ?

[Dmitry Tallmange]

@SmileyK, несомненно. Если маршрут физически всего один, то, естественно, при падении любого ключевого узла маршрут приходит в негодность. Так, вообще-то, весь интернет работает) Для этого и существует Open Shortest Path First, однако, ему должно быть из чего выбирать) Поэтому, чем больше линков соединяет любые узлы сети - тем лучше для стабильности системы в целом.

[Максим Чиликин]

Вы забыли про то, что если у Микротика 2 провайдера, то он по умолчанию возвращать трафик второго будет через первого. Поэтому и OVPN не работал и не работает без прописывания правил хождения трафика по каждому провайдеру.
Например mum.mikrotik.com/presentations/RU14/cudin.pdf
Я OVPN не настраивал ни разу, но мне кажется что там нет такого понятия как адрес инициатора соединения(Источник), есть только адрес на которое это соединение приземляется(Цель). Поэтому, в случае двух провайдеров, трафик поступает на один интерфейс, а уходит с другого. В тунелях типа GRE/IP-Tunel/EoIP - есть такое понятие, так-же там есть встроенные методики определения наличия связи. Но, эти соединения не шифруют трафик, так что если стоит вопрос безопасности, то можно просто навесить политику IPSEC на обоих концах соединения.

[Wolf KTL]

@p00h Я бы поспорил хотя у меня такая же проблема, я собрал стенд в один свитч подключил два микротика от одного взял два конца в ставил в свитч, дал интерфейсам разные ip в разных под сетях, со второго микротика в котором воткнуто 2 кабеля , опять же прописал два разных ip из других под ситей отличных от 1 микротика , прописал на обеих маршруты к сетям, сделал два L2TP подключения и они спокойно завелись))

хочу вместо свитча сделать 3 микротик и на нем сделать маршрутизацию и проверить, сам факт l2tp работает прошивка 6.7 в реальных условиях нет((

Answer 2

[nimbo]

а зачем два тунеля если можно один, но через активный в данный момент линк? 0_о
а вы не пробовали просто дистанс на 0.0.0.0 для isp1=1 для isp2=2 делать? почему спрашиваю - потому что не вижу как вы получаете конкретно интернет - pppoe\eth чистая статика или серый ip и т.п.

Comments

[fotonboxx]

@nimbo "а зачем два тунеля если можно один, но через активный в данный момент линк? 0_о"

А как мне определить, какой из ISP активен в офисе? На складе все понятно, через активный линк и идут туннели. Но склад не знает, какой из линков в офисе активный, и, более того, надежно это определить со стороны склада нет возможности.

"0.0.0.0 для isp1=1 для isp2=2 делать"
Пробовал, но тогда для переключения каналов нужен check-ping, а с ним РоутерОС отвечает не на тот интерфейс, на который пришел запрос, нужно было его этому "научить".

ISP 2 - серый IP, т.е. внутренний IP из сетки провайдера мапится на внешний.
Остальные три - белая статика.

[nimbo]

@fotonboxx хм, я попробую посмотреть ещё раз, но у меня был mangle на один из фэйсов isp и работало вполне нормально.
я подключаю по dns-именю тунель, т.е. через активный линк через dns.he.net по скрипту по dyndns привязываю dns A и dns AAAA записи и по ним подключаюсь. скрипт можно поставить на каждые 5 минут запуска и TTL dns тоже примерно минут 5 выставить.
для переключения каналов можно watchdog+script же просто использовать, нет?

[Dmitry Tallmange]

@nimbo для мониторинга каналов рекомендую wiki.mikrotik.com/wiki/Advanced_Routing_Failover_w...

[Кирилл 1]

@nimbo можете чуть подробнее о таком решении ?
@fotonboxx вы добились желаемого эффекта ? (если а поделитесь примером)

[nimbo]

@SmileyK tunnelbroker.net - регистрируемся и получаем 6in4 тунель для ipv6. на wiki.mikrotik.com есть скрипт, который поможет работать как dyndns (т.е. привязывать ваш текущий ip к тунелю). далее берём для себя домен (регистрируем или берём имеющийся), и идём на dns.he.net, там регистрируемся и следуя инструкциям добавляем наш домен, прописываем для него A и AAAA записи, выставляем им минимальный TTL, помечаем что они доступны для dyndns сервиса, код который при этом видим копируем. Прописываем у регистратора NS-сервера хурриканов для нашего домена. Важно! Прописать сначала надо все пять, потом надо убрать ns1.;
идём в паенль управления тунеллем, вкладка Advanced. вставляем тот сам код с dns.he.net, который мы получили в форме привязки dyndns и записей, и прописываем наш домен как hostname.
запускаем скрипт на микротике - проверяем. можно подключаться по доменному имени.
я немного переделал скрипт и сделал для себя проще:

:if ([/ping 8.8.8.8 count=5] > 0) do={
/tool fetch mode=http \ host=("ipv4.tunnelbroker.net") \ url=("http://ipv4.tunnelbroker.net/nic/update?username=<USERNAME>&password=<PASSWORD>&hostname=<TUNNEL_ID>") \ dst-path=("HE.txt") ;
/delay 10 ;
:log info [/file get ("HE.txt") contents] ;
/delay 10 ;
}

примерно так. в результате просто подключаемся по доменному имени (благо в последних ros это можно делать, а не как раньше через скрипты). и важный момент - у меня все линки через pppoe подключены, так что вопрос о живучести линка в данный момент для меня не особо актуален, т.к. если вдруг линк помрёт активный так, что микротик это не увидит - об этом прокричит NAS Synology всеми смсками и e-mail'ами. отмечу что такого ещё не было, подключен через ТТК и у них с этим проблем не замечено.

[nimbo]

@p00h я для мониторинга пользую the dude. если проблемы будут, он просто микротику скажет вырубить проблемный канал через route'ы, а я буду дома с чашкой кофе смотреть чего там у провайдера.

[Кирилл 1]

@nimbo все тело движения связанные с регистрацией на нескольких сервисах, обусловлено получением бесплатного домена и для работы без статических IP адресов верно ?

/просто слишком запутано организация всех инструментов и выполнение работ с MIK./

[nimbo]

@SmileyK по сути да. один раз сделано так, зато эту модель можно переносить на что угодно. ну и проще запомнить скажем sklad-pokra.moy-magaz.ru чем айпишник. плюс, для людей с интернетами за натом появляется ipv6 - прямой ход в интернеты.

[fotonboxx]

@SmileyK @fotonboxx вы добились желаемого эффекта ? (если а поделитесь примером)
Почти. Поднял два туннеля - l2tp и pptp, один на основной линк офиса, второй на резервный.
Если бы не баг в ROS с неочисткой кэша марштрутов (или что-то похожее) при смене интерфейса (есть в 6.6. и вроде бы нет в 6.10), то все было бы отлично.

Если нужен конфиг, пишите, но там все тривиально.

Из ToDo у меня следующее:
1. От check-gateway=ping шлюза провайдера уйти к этому:
wiki.mikrotik.com/wiki/Advanced_Routing_Failover_w...

2. Потоки с камер на складе должны идти только по маршруту Склад ISP1 - Офис ISP1, иначе отваливаться (камеры выделены в отдельную подсеть), если у кого есть идеи, пишите здесь =)

[Кирилл 1]

@nimbo ну подскажите если у меня есть статика и есть доменное имя, каковы мои действия не могу собрать все докучи в голове

[Кирилл 1]

@fotonboxx @nimbo я извиняюсь, но что то я совсем запутался в выборе решения, и даже по wiki.mikrotik.com/wiki/Advanced_Routing_Failover_w... можете привести части конфигов или картинки winbox для представления картины ?

[Кирилл 1]

@nimbo @AntiHelper ну вот не как не могу догнать как по выше о писаному описанию тоже самое запилить но на статике ? в dns прописать name и IP с пониженным TTL ?

[nimbo]

@SmileyK привязать к доменному имени ip нужный и сделать TTL минут на 5.

[fotonboxx]

@SmileyK
piccy.info/view3/6175860/680d9435bcdf2b6dbaa94d16c...
Это склад (L2TP\PPTP - клиент).
Отключенный маршрут - это основной провайдер (проблемы с VoIP).
Нужно еще сделать как в самом первом посте на закладке Mangle, это в скрин по понятным причинам не попало.

[Кирилл 1]

@nimbo верно ведь я понял что белые свои IP адреса серверного MK я прописую в dns зоне а клинским т.е удаленным скармливаю имя так ?

Answer 3

[Максим Чиликин]

На последнем МУМе разбирали подобную ситуацию. Считаю, что по ссылке более элегантное решение.
Сам использую Микротик почти в 20ти офисах, в некоторых из них по два канала.
Если у Вас всего пара офисов - то дальше первой главы не читайте, больше - обязательно используйте OSPF.
mum.mikrotik.com/presentations/RU14/cudin.pdf

Comments

[nimbo]

собственно второй способ в этой презенташке (через distance маршрутов) я и указывал. спасибо за линк ;)

[Максим Чиликин]

Я линк не для демонстрации второго способа указывал, а для демонстрации резервирования тунелей GRE.

[fotonboxx]

@AntiHelper А чем GRE-туннели лучше\хуже l2tp?
И, кстати, в моем случае роутер отвечает на тот же интерфейс, что и приходят запросы:

/ip firewall mangle
add chain=input in-interface=wan1-out action=mark-connection new-connection-mark=wan1
add chain=input in-interface=wan2-out action=mark-connection new-connection-mark=wan2
add chain=output connection-mark=wan1 action=mark-routing new-routing-mark=wan1     
add chain=output connection-mark=wan2 action=mark-routing new-routing-mark=wan2
/ip route
add dst-address=0.0.0.0/0 gateway=10.0.0.1 routing-mark=wan1 
add dst-address=0.0.0.0/0 gateway=10.0.0.2 routing-mark=wan2

Однако, два l2tp туннеля на один роутер через разные каналы поднять не удалось.

[Максим Чиликин]

Torch в помощь. Смотри момен попытки установления соединения на разных ISP,

[Максим Чиликин]

GRE/IP Tunel -- самые лёгкие и самые стабильные виды тунелей. Настраиваются практически как VLANы.

[Максим Чиликин]

linkmeup.ru/blog/33.html

[nimbo]

@AntiHelper вы пробовали gre протолкать через edge-соединение из замкада какого-нибудь? стабильности там точно не будет. тунель падает каждые секунд 30-40.

[Максим Чиликин]

@nimbo Пробовал через LTE. Вы посмотрите что такое PPP протоколы в Википедии. PPP протоколы - это обвязка вокруг GRE, позволяющая использовать GRE без внешнего IP на одном конце и накинутом поверх шифровании. Какой бы вы PPP протокол не использовали, внизу всегда протокол более нижнего уровня, в данном случае - это протокол который разрабатывала CISCO и AT&T.
GRE требуется внешние IP с каждого конца соединения, в случае модема - не подойдёт.

[nimbo]

@AntiHelper OpenVPN PPP при этом я не помню там GRE, не?

[Максим Чиликин]

наверное. если протокол работает хорошо, то зачем создавать новый? Просто его обернули в новую оболочку и всё.

Answer 4

[Максим Чиликин]

В микротике есть такая штука "Torch". Во время установки соединения посмотри от какого ISP идёт исходящий трафик и на какой принимается входящий.
В L2TP клиенте, насколько помню(Сижу с Макбука жены, сейчас подсмотреть негде), нет понятия "Local IP", из-за этого установление обоих соединений идёт через маршрут по умолчанию (если они с одинаковой метрикой, то с наименее загруженного ISP).
Если моё предположение подтвердится, тогда пробуй тунели типа GRE/IP Tunel/EoIP. Вообще делай OSPF поверх GRE/IP tunel, навешивай сверху IPSEC и не парься, работает стабильно, есть встроенные проверки состояния каналов, чем больше устройств - тем больше стабильность. Если нужна консультация по поводу динамической маршрутизации, могу помочь через Skype/TeamViever бесплатно.

Comments

[fotonboxx]

@AntiHelper
Если под "Local IP" имеется в виду каждый из концов туннеля, то они есть и выдаются сервером.
Просто непонятна ситуация, чем отличается коннект множества L2TP клиентов с разных роутеров от коннекта с одного и того же роутера. IP разные, секреты тоже...
GRE попробую, конечно, когда подробнее с ним ознакомлюсь. Пока нашел это:
www.opennet.ru/base/cisco/gre_fragment.txt.html

Answer 5

[Максим Чиликин]

в скрине демонстрация. Там должно быть два IP: 1 - с какого IP устанавливать соединение, 2 - на какой IP ожидать встречное соединение(Соединение равноправных участников, соединение "Сети с сетью")

GRE/IP Tunel/ EoIP - это просто другие типы тунелей имеющие свои плюсы и минусы, лично я их использую потому, что они более управляемые и на них легко делать динамическую маршрутизацию. Это соединения равноправных участников, где каждый является одновременно и клиентом и сервером.
habrahabr.ru/post/170895

Answer 6

[Кирилл 1]

И снова к нашим медведям то если я делаю такую схему Вот то при обновлении DNS каждые 3 минуты я получаю обрыв верно ?

Comments

[Максим Чиликин]

Микротик ничего не знает о DNS. При первом подключении он превращает DNS в IP и забывает DNS имя. В версии 6.12 это исправлено для PPP тунелей, как работает не проверял.

[Кирилл 1]

@AntiHelper ок, оттестирую, а как у Вас настроена балансировка ISP ? Может обсудим в skype ?

[Максим Чиликин]

Запросто. Derzkiy_Skype

Answer 7

[Павел]

У меня такая же ситуация.
Центральный офис - два канала, точки 1\2 канала.
На центральном микротике поднят l2tp сервер, в точках соответственно клиенты.
Необходимо, что бы при падении основного канала в офисе VPN переподключался на резервный канал.
Настроил через скрипт проверку доступности основного канала и при его падении гасится один l2tp-clinet интерфейс и поднимается другой (в котором вбит Connect To резервного интернета в центральном офисе). Это всё работает. Но при попытке инициализации VPN ругается "old tunnel is not closed yet" и не хочет ни в какую коннектиться. Не помогает удаление из активных соединений и из Connections в Firewall`е. Как только меняю обратно, всё замечательно поднимается.

Comments

[fotonboxx]

@Uttar
1. Используйте GRE-туннели, если есть статика с обеих сторон, они проще в управлении.
2. Или поднимите несколько l2tp (не получится, почему - никто не знает) или l2tp (до основного) + pptp (до резервного) туннели одновременно.

[Wolf KTL]

@fotonboxx почитайте мое сообщение выше

Answer 8

[Wolf KTL]

Решение в моем посте mikrotik.ru/forum/viewtopic.php?f=1&t=5034&p=26331...