Как связать несколько локальных сетей через WireGuard на ubuntu?

Question

[Вячеслав Кравцов]

Как объединить несколько локальных сетей через wireguard, чтобы устройства видели друг друга из разных сетей, при помощи wireguard?

Имеется сервер с wireguard, который выступает в качестве wireguard сервера, имеющий внешний ip на сетевой карте enp3s0. ОС ubuntu server.
Так же имеется виртуальное сетевое устройство wg0, имеющее IP 10.8.0.1.
В данный момент, подключенные клиенты могут спокойно через этот сервер выходить наружу.

Клиент-сервер (Client 2)в роли шлюза в локальной сети, имеет 2 физических сетевых адаптера и 1 от Wireguard.
enp4s0 который смотрит в интернет и через который подключается wireguard к серверу.
wg0 имеющий IP 10.8.0.2
enp3s0 имеющий ip и подсеть 192.168.10.1/23, который раздает сеть в локалку, пуская клиенты наружу через wireguard, через отдельно созданную таблицу маршрутизации inet_wg и:
ip rule add from 10.8.0.2 table inet_wg
ip rule add fwmark 4 table inet_wg
iptables -t nat -A POSTROUTING -s 192.168.10.0/23 ! -d 192.168.10.0/23 -o wg+ -j SNAT --to-source 10.8.0.2 .
И отмаркированный трафик, который необходимо через wireguard гнать.
К этому шлюзу через коммутатор подключены сетевые устройства, которые без проблем выходят в сеть через Wireguard сервер.

Аналогичный client 2 Клиент-сервер (Client 3)в роли шлюза в локальной сети, имеет 2 физических сетевых адаптера и 1 от Wireguard.
enp4s0 который смотрит в интернет и через который подключается wireguard к серверу.
wg0 имеющий IP 10.8.0.3
enp3s0 имеющий ip и подсеть 192.168.88.1/24, который раздает сеть в локалку, пуская клиенты наружу через wireguard, через отдельно созданную таблицу маршрутизации inet_wg и:
ip rule add from 10.8.0.3 table inet_wg
ip rule add fwmark 4 table inet_wg
iptables -t nat -A POSTROUTING -s 192.168.88.0/24! -d 192.168.88.0/24-o wg+ -j SNAT --to-source 10.8.0.3 .
И отмаркированный трафик, который необходимо через wireguard гнать.
К этому шлюзу через коммутатор подключены сетевые устройства, которые без проблем выходят в сеть через Wireguard сервер.

На картинке в графическом виде представлено, как это устроено.


Как сделать так, чтобы устройства одной сети видели устройства в другой сети?
Проблема, так понимаю, заключается только в прописи маршрута и, как я понимаю, только на wireguard сервере?

Если не прописывать маршрут и сделать трасировку с любого устройства из сети Client 3 в сеть client 2 traceroute 192.168.10.1, то:
Трассировка маршрута к 192.168.10.1 с максимальным числом прыжков 30
1 1 ms 1 ms 1 ms 192.168.88.1
2 35 ms 36 ms 34 ms 10.8.0.1
А дальше уже попытки поиска уже снаружи нужного адреса.

Аналогично с client 2 на client3.

Если добавить маршрут на wireguard сервере из одной сети в другую и обратно:
route add -net 192.168.10.0/23 gw 10.8.0.2
route add -net 192.168.88.0/24 gw 10.8.0.3
то, tracert 192.168.10.1
Трассировка маршрута к 192.168.10.1 с максимальным числом прыжков 30
1 2 ms 1 ms 1 ms 192.168.88.1
2 34 ms 34 ms 35 ms 10.8.0.1
3 10.8.0.1 сообщает: Заданный узел недоступен.

Трассировка завершена.

Так же и с wireguard сервера получаем такое:
root@gwwg:/home/vpn# ping 192.168.10.1
PING 192.168.10.1 (192.168.10.1) 56(84) bytes of data.
From 10.8.0.1 icmp_seq=1 Destination Host Unreachable
ping: sendmsg: Required key not available
ping: sendmsg: Required key not available
From 10.8.0.1 icmp_seq=2 Destination Host Unreachable
^C
--- 192.168.10.1 ping statistics ---
2 packets transmitted, 0 received, +2 errors, 100% packet loss, time 1012ms

root@gwwg:/home/vpn# ping 192.168.88.1
PING 192.168.88.1 (192.168.88.1) 56(84) bytes of data.
From 10.8.0.1 icmp_seq=1 Destination Host Unreachable
ping: sendmsg: Required key not available
From 10.8.0.1 icmp_seq=2 Destination Host Unreachable
ping: sendmsg: Required key not available
^C
--- 192.168.88.1 ping statistics ---
2 packets transmitted, 0 received, +2 errors, 100% packet loss, time 1004ms

Так как же сделать маршрутизацию трафика из одной локальной сети в другую, при посредничестве wireguard сервера, рабочей?

Comments

[Ziptar]

А в конфигах wg шо?

А то есть подозрение

ping: sendmsg: Required key not available

шо надо разобраться с графой allowedips

Answer 1

[Valentin Barbolin]

Пример конфигурации объединения двух сете (Lan2Lan) через WireGuard VPN сервер с публикацией порта веб сервера (192.168.10.10:80) на WireGuard сервере через VPN без NAT (без маскарада реального IP клиента) !!!

Схему сети смотрите в вопросе.

# Сервер

/etc/wireguard/wg0.conf

[Interface]
PrivateKey = <VPN_SERVER_PRIVATE_KEY>
Address = 10.8.0.1/24
ListenPort = 51820

[Peer]
PublicKey = <CLIENT2_PUBLIC_KEY>
AllowedIPs = 10.8.0.2/32, 192.168.10.0/24 ## маршруты сами прописываются в таблицу маршрутизации сервера

[Peer]
PublicKey = <CLIENT3_PUBLIC_KEY>
AllowedIPs = 10.8.0.3/32, 192.168.88.0/24 ## маршруты сами прописываются в таблицу маршрутизации сервера




## Forward
sudo sysctl -w net.ipv4.ip_forward=1


## Firewall 
sudo iptables -A FORWARD -i wg0 -j ACCEPT
sudo iptables -A FORWARD -o wg0 -j ACCEPT
sudo iptables -t nat -A POSTROUTING -o enp3s0 -j MASQUERADE 

## Публикуем порт и прокидываем его на сервер в локальной сети за Клиент 2 через VPN
iptables -t nat -A PREROUTING -i enp3s0 -p tcp -m tcp --dport 80 -j DNAT --to-destination 192.168.10.10:80

# Клиент 2

[Interface]
Address = 10.8.0.2/32
PrivateKey = <CLIENT2_PRIVATE_KEY>
Table = 100
PostUp = ip rule add from 10.8.0.2 table 100; ip route add 192.168.88.0/24 dev wg0; ip route add 10.8.0.0/24 dev wg0; ip rule add fwmark 1/3 table 100
PostDown = ip rule del from 10.8.0.2 table 100; ip route del 192.168.88.0/24 dev wg0; ip route del 10.8.0.0/24 dev wg0; ip rule del fwmark 1/3 table 100

[Peer]
AllowedIPs = 0.0.0.0/0
PublicKey = <VPN_SERVER_PUBLIC_KEY>
Endpoint = <VPN_SERVER_IP>:51820




## Forward
sudo sysctl -w net.ipv4.ip_forward=1


## Firewall 
sudo iptables -A FORWARD -i wg0 -j ACCEPT
sudo iptables -A FORWARD -o wg0 -j ACCEPT
sudo iptables -t nat -A POSTROUTING -o enp4s0 -j MASQUERADE

## Вот эта строчка маркирует ответ от веб сервера, а потом на него 
## применяется правило (ip rule add fwmark 1/3 table 100) и  пакет попадает в таблицу 100 и 
## при такой конфигурации будет виден реальный IP клиента. 
## При этом сервер 192.168.10.10 в интернет будет выходить через gw (Клиент 2), 
## а ответы  отправлять в VPN.

iptables -t mangle -A PREROUTING -i wg0 -m conntrack --ctstate NEW -j CONNMARK --set-xmark 0x1/0x3
iptables -t mangle -A PREROUTING -i enp3s0 -m connmark ! --mark 0x0/0x3 -j CONNMARK --restore-mark --nfmask 0x3 --ctmask 0x3

# Клиент 3

[Interface]
Address = 10.8.0.3/32
PrivateKey = <CLIENT3_PRIVATE_KEY>
Table = 100
PostUp = ip rule add from 10.8.0.3 table 100; ip route add 192.168.10.0/24 dev wg0; ip route add 10.8.0.0/24 dev wg0; ip rule add fwmark 1/3 table 100
PostDown = ip rule del from 10.8.0.3 table 100; ip route del 192.168.10.0/24 dev wg0; ip route del 10.8.0.0/24 dev wg0; ip rule del fwmark 1/3 table 100

[Peer]
AllowedIPs = 0.0.0.0/0
PublicKey = <VPN_SERVER_PUBLIC_KEY>
Endpoint = <VPN_SERVER_IP>:51820



## Forward
sudo sysctl -w net.ipv4.ip_forward=1


## Firewall 
sudo iptables -A FORWARD -i wg0 -j ACCEPT
sudo iptables -A FORWARD -o wg0 -j ACCEPT
sudo iptables -t nat -A POSTROUTING -o enp4s0 -j MASQUERADE

Comments

[Вячеслав Кравцов]

Интересно, что добавив только на сервере в AllowedIPs подсеть другой сети, уже сработало, без добавления клиентам дополнительного AllowedIPs. Возможно, клиентам нужно тоже добавить (хотя пока не знаю зачем), но есть еще 4ый клиент, который на микротике, у которого есть wireguard и хз как ему AllowedIPs прописать.

[Ziptar]

где-то клиент 1 и клиент 2, где-то клиент 3, зачем-то в конфигах упоминаются интерфейсы eth0, когда в посте о них ни слова; трудновато понять что к чему
Честно говоря, я бы избавился от snat в сторону вг серврера, ибо не очень понятно зачем, а ситуацию осложняет

[Ziptar]

Вячеслав Кравцов, не понял, а в чём проблема в микротике allowedips прописать?

[Вячеслав Кравцов]

Ziptar, snat необходим для правильной трансляции адресов из входящей сети. Если сделать это через маскарад, то устройства, среди которых есть и веб сервер, к котором стучатся с внешней сети через wg, будут получать ip адреса своего шлюза, а не удаленного клиента.
Мне ничего не мешает адаптировать конфиги содержащие eth0 под свой конфиг.

[Вячеслав Кравцов]

Ziptar, так знать бы где его там прописывать. Я уже забыл как wg на микроте настраивал, а теперь даже в веб интерфейсе не удается найти в настройке wg аналогичный параметр. Возможно, в ip->addresses, но у меня есть сомнения.

[Valentin Barbolin]

Вячеслав Кравцов,

Интересно, что добавив только на сервере в AllowedIPs подсеть другой сети, уже сработало,

Скорее всего потому что у тебя SNAT на включен. Ты по факту строиш сеть LanToLan, тут не нужен NAT. Тут нужна правильная маршрутизация.

[Ziptar]

Вячеслав Кравцов, так там буквально графа allowed address есть в настройках пира

[Valentin Barbolin]

Вячеслав Кравцов,

на микротике, у которого есть wireguard и хз как ему AllowedIPs прописать.

AllowedIPs прописывает маршрути в таблицу маршрутизации. На микротике это не происходит, особенность реализации, я обычно на микроте в AllowedIPs пишу 0.0.0.0/0 и прописываю статикой маршрут ну нужном направлении.

[Вячеслав Кравцов]

Valentin Barbolin, в данном случае, не только LanToLan. Необходимо, чтобы внешние пользователи из интернета, стучась к серверу на бору которого находится wireguard server, отправлялись к его клиентам, на которых находятся необходимые службы.

[Valentin Barbolin]

Ziptar, Лучше 0.0.0.0/0, с твоим вариантом это для ipv6 у меня были проблемы.

[Valentin Barbolin]

Вячеслав Кравцов,

чтобы внешние пользователи из интернета, стучась к серверу на бору которого находится wireguard server, отправлялись к его клиентам, на которых находятся необходимые службы.

То есть публикация портов, Если будеш использовать NAT то конечный сервер будет видеть IP ната и соответственно не получиться настроить блокировки, тот же fail2ban.

[Вячеслав Кравцов]

Ziptar, О. А винбокс то я и забыл. В нем отображается параметр. Но как пишет Valentin Barbolin, на микроте это в маршрутах прописать стоит.

[Ziptar]

Valentin Barbolin, это просто по-умолчанию при заведении нового пира написано, я не озаботился исправлением)

[Ziptar]

Вячеслав Кравцов, ну а некоторые вещи вообще только в cli есть, тут такое

[Вячеслав Кравцов]

Valentin Barbolin, это при маскараде. А вот при snat видны ip внешних клиентов и можно настроить блокировки по ip.

[Valentin Barbolin]

Вячеслав Кравцов, неа.

[Вячеслав Кравцов]

Valentin Barbolin, подскажите, по поводу маршрута в микротике, правильно понимаю, что в ip->routes добавляю в dst. address подсеть, в которую хочу стучаться из сети микрота стучатся и в качестве шлюза wireguard интерфейс?

[Valentin Barbolin]

Вячеслав Кравцов, да

[Ziptar]

Valentin Barbolin, Вячеслав Кравцов, я вообще не понимаю о чём вы. Если веб сервер за одним из вг клиентов - к нему всё равно днатить надо; если на самом вг сервере, то маскарадинг или снатинг трафика вг клиентов с веб сервером вообще пересекаться не должен при доступе к веб серверу со стороны интернета
а снат не сильно отличается от маскарада, маскарад просто с динамикой умеет работать; а так трансляция и есть трансляция

[Valentin Barbolin]

Ziptar, Есть такая проблема. Для веб решает с помощью nginx прокси на сервере VPN или через маркировку трафика, что бы он возвращался по маршруту с которого пришел.

[Valentin Barbolin]

Ziptar, По идеи как-то так.

[Interface]
PrivateKey = <CLIENT2_PRIVATE_KEY>
Address = 10.8.0.2/24
Table = 100
PostUp =  ip route add 192.168.10.0/24 dev enp3s0 table 100; \
                ip route add 10.8.0.0/24 dev wg0; \ ## что бы маршрут добавился в основную таблицу
                 ip route add 192.168.88.0/24 dev wg0 ## что бы маршрут добавился в основную таблицу
PostDown = ip route del 192.168.10.0/24 dev enp3s0 table 100;\ 
                ip route del 10.8.0.0/24 dev wg0; \
                 ip route del 192.168.88.0/24 dev wg0

[Peer]
PublicKey = <VPN_SERVER_PUBLIC_KEY>
Endpoint = <VPN_SERVER_IP>:51820
AllowedIPs = 10.8.0.0/24, 192.168.88.0/24 ## cами добавятся в таблицу 100, посмотреть можно через ip route show table 100

[Вячеслав Кравцов]

Valentin Barbolin, на клиенте проверю этот метод. А на сервере какие то маршруты надо так же добавлять, кроме того, что делает AllowedIPs?

[Valentin Barbolin]

Вячеслав Кравцов, В том то и прикол, что на linux и windows сам wg добавляет маршруты которые указаны в AllowedIPs.

[Вячеслав Кравцов]

Valentin Barbolin, т.е. то, что в строках postup и postdown добавление маршрутов не нужно, если allowedips уже есть?
Не очень понял
ip route add 192.168.10.0/24 dev enp4s0 table 100; на клиенте, у которого и так локальная сеть 192.168.10.0/23 еще через сетевой интерфейс enp4s0, который смотрит в интернет (тут опечатка и должно быть enp3s0 ?)

[Valentin Barbolin]

Вячеслав Кравцов, поправил комент, опечатка интерфес enp3s0

[Valentin Barbolin]

Вячеслав Кравцов, еще раз поправил комент

[Valentin Barbolin]

Вячеслав Кравцов, и еще раз поправил)

[Valentin Barbolin]

Вячеслав Кравцов, и снова еще раз поправил) голова не варит

[Valentin Barbolin]

Вячеслав Кравцов, не возможти проверить, если не получиться вариант выше для проброса порта, то попробуй так

[Interface]
PrivateKey = <CLIENT2_PRIVATE_KEY>
Address = 10.8.0.2/24
Table = 100
PostUp =  ip route add 192.168.10.0/24 dev enp3s0 table 100; \
                ip route add 10.8.0.0/24 dev wg0; \ ## что бы маршрут добавился в основную таблицу
                 ip route add 192.168.88.0/24 dev wg0 ## что бы маршрут добавился в основную таблицу
PostDown = ip route del 192.168.10.0/24 dev enp3s0 table 100;\ 
                ip route del 10.8.0.0/24 dev wg0; \
                 ip route del 192.168.88.0/24 dev wg0

[Peer]
PublicKey = <VPN_SERVER_PUBLIC_KEY>
Endpoint = <VPN_SERVER_IP>:51820
AllowedIPs = 0.0.0.0/0 ## cами добавятся в таблицу 100, посмотреть можно через ip route show table 100

[Вячеслав Кравцов]

Valentin Barbolin, вот последний вариант более менее понятен, что в postup добавляется
ip route add 192.168.88.0/24 dev wg0 например.

А на сервере то необходимо какие то маршруты в postup добавлять или хватит того, что wg из allowedips сделает?

По поводу трансляции адресов snat и маскарад. От части вы оказались правы.
Проделав небольшой тест, в данном случае, на wg сервере и wg client2 используется snat. За клиент2 находятся помимо рабочих станций, другие сервисы, типа, астериска, домена, веб, дб, рдп и прочий мусор.

Если стучаться из внешней сети, по ip wg сервера, он же через тунель бросает трафик client2, тот в свою очередь через prerouting пересылает трафик нужному устройству в своей локальной сети. Тут выходит, что оконечный сервер получатель видит внешний ip своего клиента. А вот в сети LanToLan получатель в сети client2 видит ip nat-а client3 (в данном случае, 10.8.0.3, вместо 192.168.88.3).
Если делать через маскарад, вместо snat, то появляется проблема, что при подключении из внешней сети к серверу за nat client2, сервер видит ip своего шлюза. Может подскажете способ, чтобы и через LanToLan были из соседних сетей винды IP клиентов, при этом из внешнего мира тоже были видны внешние ip клиентов, а не ip ната, в котором находится сервер?

Проверить Ваши предложения смогу только завтра, обязательно отпишусь о результатах.

[Valentin Barbolin]

Вячеслав Кравцов, Интересная задачка, 2 часа поттттт..ся, повторил твою конфигурацию в тестовой инфрастуктуре и нашел решение. Поправил основной ответ, может кому пригодиться

[Valentin Barbolin]

Вячеслав Кравцов, Не понравилась мне последнее решение, нашел еще более интересный вариант. Поправил ответ.

PostUp = ip rule add from 10.8.0.2 table 100; ip route add 192.168.88.0/24 dev wg0; ip route add 10.8.0.0/24 dev wg0; ip rule add fwmark 1/3 table 100
PostDown = ip rule del from 10.8.0.2 table 100; ip route del 192.168.88.0/24 dev wg0; ip route del 10.8.0.0/24 dev wg0; ip rule del fwmark 1/3 table 100




iptables -t mangle -A PREROUTING -i wg0 -m conntrack --ctstate NEW -j CONNMARK --set-xmark 0x1/0x3
iptables -t mangle -A PREROUTING -i enp3s0 -m connmark ! --mark 0x0/0x3 -j CONNMARK --restore-mark --nfmask 0x3 --ctmask 0x3

классная статья на эту тему, делал по не
https://habr.com/ru/articles/117620/

Answer 2

[ValdikSS]

Многопользовательские L3-туннели (в т.ч. OpenVPN TUN, WireGuard) не позволяют указывать IP-адрес, через который происходит маршрутизация (ip route … via 10.8.0.4) — эта опция требует L2-связности.
Используйте директиву AllowedIPs в WireGuard, она настроит и внутреннюю машрутизацию, и маршрутизацию ОС, и внутренний фильтр source IP.