Почему не идёт трафик через NORDVPN?

Question

[Константин]

Пытаюсь настроить схему как на картинке если NORDVPN отключен то всё работает отлично, но стоит его включить и интернет на устройствах перестаёт работать. Подозреваю что проблема в маршрутизации ни как не могу её победить.

root@vpn:~# sysctl -p
net.ipv4.ip_forward = 1
root@vpn:~#

root@vpn:~# sudo ip route
default via 192.168.0.1 dev eth0 proto static 
192.168.0.0/24 dev eth0 proto kernel scope link src 192.168.0.205 
192.168.1.0/24 dev wg0 proto kernel scope link src 192.168.1.1

Comments

[AlexVWill]

Ок, интернет на устройствах работать перестает, а интернет на Ubuntu server то точно есть, проверял?

[Константин]

AlexVWill,

root@vpn:/etc/wireguard# nordvpn c de
Connecting to Germany #923 (de923.nordvpn.com)
You are connected to Germany #923 (de923.nordvpn.com)!
root@vpn:/etc/wireguard# ping 8.8.8.8
PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.
64 bytes from 8.8.8.8: icmp_seq=1 ttl=117 time=74.0 ms
64 bytes from 8.8.8.8: icmp_seq=2 ttl=117 time=74.0 ms
64 bytes from 8.8.8.8: icmp_seq=3 ttl=117 time=74.0 ms
^C
--- 8.8.8.8 ping statistics ---
27 packets transmitted, 3 received, 88.8889% packet loss, time 26537ms
rtt min/avg/max/mdev = 73.994/74.013/74.030/0.014 ms

Несколько пакетов отправляется потом виснет, странно всё это. Сейчас восстановлюсь из бэкапа

[AlexVWill]

Константин, проверяй на сервере, похоже тама какая то проблема...
И лучше не пингом а трассировкой, т.к. нужно смотреть как TCP/UDP пакеты идут

[Константин]

AlexVWill,

1?: [LOCALHOST]                      pmtu 1420
 1:  10.5.0.1                                             45.946ms 
 2:  ???                                                  45.293ms 
 3:  ???                                                  44.691ms asymm  2 
 4:  bei-b2-link.ip.twelve99.net                          46.483ms asymm  3 
 5:  bei-b1-link.ip.twelve99.net                          45.941ms 
 6:  hbg-bb3-link.ip.twelve99.net                         51.665ms asymm  8 
 7:  hbg-bb3-link.ip.twelve99.net                         51.997ms asymm  8 
 8:  hbg-b2-link.ip.twelve99.net                          51.741ms asymm  7 
 9:  google-ic373142-hbg-b2.ip.twelve99-cust.net          52.104ms asymm 12 
10:  no reply
11:  no reply
12:  no reply
13:  no reply
14:  no reply
15:  no reply
^C
root@vpn:~# ping 8.8.8.8
PING 8.8.8.8 (8.8.8.8) 56(84) bytes of data.
64 bytes from 8.8.8.8: icmp_seq=1 ttl=115 time=51.6 ms
64 bytes from 8.8.8.8: icmp_seq=2 ttl=115 time=58.4 ms
64 bytes from 8.8.8.8: icmp_seq=3 ttl=115 time=51.4 ms
64 bytes from 8.8.8.8: icmp_seq=4 ttl=115 time=51.9 ms
64 bytes from 8.8.8.8: icmp_seq=5 ttl=115 time=51.4 ms
64 bytes from 8.8.8.8: icmp_seq=6 ttl=115 time=52.4 ms
64 bytes from 8.8.8.8: icmp_seq=7 ttl=115 time=51.4 ms
64 bytes from 8.8.8.8: icmp_seq=8 ttl=115 time=53.4 ms
64 bytes from 8.8.8.8: icmp_seq=9 ttl=115 time=51.5 ms
64 bytes from 8.8.8.8: icmp_seq=10 ttl=115 time=53.3 ms
64 bytes from 8.8.8.8: icmp_seq=11 ttl=115 time=52.4 ms
64 bytes from 8.8.8.8: icmp_seq=12 ttl=115 time=56.4 ms
64 bytes from 8.8.8.8: icmp_seq=13 ttl=115 time=51.6 ms
64 bytes from 8.8.8.8: icmp_seq=14 ttl=115 time=52.2 ms
64 bytes from 8.8.8.8: icmp_seq=15 ttl=115 time=52.0 ms
64 bytes from 8.8.8.8: icmp_seq=16 ttl=115 time=57.9 ms
64 bytes from 8.8.8.8: icmp_seq=17 ttl=115 time=51.6 ms
64 bytes from 8.8.8.8: icmp_seq=18 ttl=115 time=53.0 ms
64 bytes from 8.8.8.8: icmp_seq=19 ttl=115 time=51.5 ms
64 bytes from 8.8.8.8: icmp_seq=20 ttl=115 time=55.0 ms
64 bytes from 8.8.8.8: icmp_seq=21 ttl=115 time=51.9 ms
64 bytes from 8.8.8.8: icmp_seq=22 ttl=115 time=52.8 ms
64 bytes from 8.8.8.8: icmp_seq=23 ttl=115 time=51.9 ms
64 bytes from 8.8.8.8: icmp_seq=24 ttl=115 time=51.6 ms
64 bytes from 8.8.8.8: icmp_seq=25 ttl=115 time=51.4 ms
64 bytes from 8.8.8.8: icmp_seq=26 ttl=115 time=52.6 ms
64 bytes from 8.8.8.8: icmp_seq=27 ttl=115 time=51.5 ms
64 bytes from 8.8.8.8: icmp_seq=28 ttl=115 time=51.5 ms
64 bytes from 8.8.8.8: icmp_seq=29 ttl=115 time=51.5 ms
64 bytes from 8.8.8.8: icmp_seq=30 ttl=115 time=51.9 ms
64 bytes from 8.8.8.8: icmp_seq=31 ttl=115 time=51.9 ms
64 bytes from 8.8.8.8: icmp_seq=32 ttl=115 time=51.4 ms
64 bytes from 8.8.8.8: icmp_seq=33 ttl=115 time=51.6 ms
64 bytes from 8.8.8.8: icmp_seq=34 ttl=115 time=51.7 ms
64 bytes from 8.8.8.8: icmp_seq=35 ttl=115 time=51.5 ms
64 bytes from 8.8.8.8: icmp_seq=36 ttl=115 time=51.9 ms
64 bytes from 8.8.8.8: icmp_seq=37 ttl=115 time=53.1 ms
64 bytes from 8.8.8.8: icmp_seq=38 ttl=115 time=51.7 ms
64 bytes from 8.8.8.8: icmp_seq=39 ttl=115 time=51.6 ms
64 bytes from 8.8.8.8: icmp_seq=40 ttl=115 time=52.8 ms
64 bytes from 8.8.8.8: icmp_seq=41 ttl=115 time=53.2 ms
64 bytes from 8.8.8.8: icmp_seq=42 ttl=115 time=51.6 ms
64 bytes from 8.8.8.8: icmp_seq=43 ttl=115 time=51.8 ms
64 bytes from 8.8.8.8: icmp_seq=44 ttl=115 time=51.9 ms
64 bytes from 8.8.8.8: icmp_seq=45 ttl=115 time=51.4 ms
64 bytes from 8.8.8.8: icmp_seq=46 ttl=115 time=51.5 ms
64 bytes from 8.8.8.8: icmp_seq=47 ttl=115 time=51.8 ms
64 bytes from 8.8.8.8: icmp_seq=48 ttl=115 time=51.2 ms
64 bytes from 8.8.8.8: icmp_seq=49 ttl=115 time=51.5 ms

Сейчас не отваливается, наверно в пред сессии я что-то натыкал. Ну вот снова трассировка проходит пинги (на сервере) идут но подключаясь с телефона по wireguard на телефоне интернет не появляется совсем, тишина. Кажется что дело в правилах iptables или как-то нужно перенаправить маршрутизацию

[AlexVWill]

Константин,
traceroute google.com
покажи
девайсов и сервера

[Константин]

С включенным nordvpn
server

root@vpn:~# traceroute google.com
traceroute to google.com (142.250.181.206), 30 hops max, 60 byte packets
 1  * * *
 2  * * *
 3  * * *
 4  * * *
 5  * * *
 6  * * *
 7  * * *
 8  * * *
 9  * * *
10  * * *
11  * * *
12  * * *
13  * * *
14  * * *
15  * * *
16  * * *
17  * * *
18  * * *
19  * * *
20  * * *
21  * * *
22  * * *
23  * * *
24  * * *
25  * * *
26  * * *
27  * * *
28  * * *
29  * * *
30  * * *

PC

PS C:\Users\shmoi> tracert google.com
Unable to resolve target system name google.com.

Выключенный nordvpn
server

root@vpn:~# traceroute google.com
traceroute to google.com (64.233.165.101), 30 hops max, 60 byte packets
 1  192.168.0.1 (192.168.0.1)  0.454 ms  0.555 ms  0.685 ms
 2  83.220.70.248 (83.220.70.248)  2.964 ms  2.935 ms  2.905 ms
 3  83.220.70.73 (83.220.70.73)  2.899 ms  2.931 ms  3.024 ms
 4  83.220.70.40 (83.220.70.40)  2.930 ms  3.020 ms  3.055 ms
 5  46.61.222.245 (46.61.222.245)  3.315 ms  3.349 ms  3.379 ms
 6  95.167.92.161 (95.167.92.161)  4.474 ms 95.167.92.165 (95.167.92.165)  6.098 ms 95.167.92.161 (95.167.92.161)  7.697 ms
 7  * * *
 8  72.14.209.89 (72.14.209.89)  21.955 ms  21.927 ms  21.920 ms
 9  * * *
10  108.170.250.33 (108.170.250.33)  22.948 ms  24.934 ms 108.170.250.129 (108.170.250.129)  23.149 ms
11  108.170.250.83 (108.170.250.83)  21.870 ms 108.170.250.34 (108.170.250.34)  23.152 ms  21.651 ms
12  72.14.234.20 (72.14.234.20)  33.751 ms 216.239.51.32 (216.239.51.32)  38.251 ms 209.85.249.158 (209.85.249.158)  36.060 ms
13  142.251.238.66 (142.251.238.66)  60.487 ms 108.170.235.64 (108.170.235.64)  37.178 ms 72.14.235.69 (72.14.235.69)  36.348 ms
14  72.14.236.73 (72.14.236.73)  37.368 ms 216.239.47.201 (216.239.47.201)  38.092 ms 74.125.253.147 (74.125.253.147)  37.035 ms
15  * * *
16  * * *
17  * * *
18  * * *
19  * * *
20  * * *
21  * * *
22  * * *
23  * * *
24  * lg-in-f101.1e100.net (64.233.165.101)  38.233 ms  37.703 ms

pc

PS C:\Users\shmoi> tracert google.com

Tracing route to google.com [64.233.165.101]
over a maximum of 30 hops:

  1    <1 ms    <1 ms    <1 ms  dlinkrouter.Dlink [192.168.0.1]
  2     1 ms    <1 ms    <1 ms  83.220.70.248
  3    48 ms     2 ms     1 ms  83.220.70.73
  4     1 ms    <1 ms    <1 ms  83.220.70.40
  5     5 ms     4 ms     4 ms  46.61.222.245
  6     1 ms     1 ms     1 ms  95.167.92.165
  7     *        *        *     Request timed out.
  8    21 ms    21 ms    21 ms  72.14.209.89
  9    20 ms    20 ms    20 ms  172.253.68.11
 10    20 ms    20 ms    20 ms  108.170.250.83
 11    35 ms    35 ms    35 ms  209.85.249.158
 12    38 ms    38 ms    38 ms  108.170.235.204
 13    39 ms    39 ms    39 ms  216.239.40.61
 14     *        *        *     Request timed out.
 15     *        *        *     Request timed out.
 16     *

[AlexVWill]

Дело не в маршрутизации это точно, т.к. у тебя сервер не работает из-под VPN. Ковыряй настройки клиента. Когда сервер будет из-под VPN проходить трассировку пакетов до гугля, тогда смотреть клиента. Кстати, подозреваю что у тебя какие то проблемы с DNS, 53 порт случайно не закрыт? DNS запросы в VPN заворачивал?
попробуй
traceroute 142.251.36.14
dig google.com

[Константин]

53 Порт открыл ничего не поменялось. nordvpn set dns 8.8.8.8 8.8.4.4 задал dns клиенту nordvpn но всё равно трассировка не идёт. Ещё сейчас поковыряю клиент мб действительно в нём дело

spoiler

root@vpn:~# nordvpn status
Status: Connected
Hostname: ua63.nordvpn.com
IP: 143.244.46.161
Country: Ukraine
City: Kyiv
Current technology: NORDLYNX
Current protocol: UDP
Transfer: 0.90 MiB received, 0.55 MiB sent
Uptime: 3 hours 1 minute 56 seconds
root@vpn:~# traceroute 142.251.36.14
traceroute to 142.251.36.14 (142.251.36.14), 30 hops max, 60 byte packets
 1  * * *
 2  * * *
 3  * * *
 4  * * *
 5  * * *
 6  * * *
 7  * * *
 8  * * *
 9  * * *
10  * * *
11  * * *
12  * * *
13  * * *
14  * * *
15  * * *
16  * * *
17  * * *
18  * * *
19  * * *
20  * * *
21  * * *
22  * * *
23  * * *
24  * * *
25  * * *
26  * * *
27  * * *
28  * * *
29  * * *
30  * * *
root@vpn:~# dig google.com

; <<>> DiG 9.18.4-2ubuntu2.1-Ubuntu <<>> google.com
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 39174
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 1232
;; QUESTION SECTION:
;google.com.                    IN      A

;; ANSWER SECTION:
google.com.             56      IN      A       172.217.16.14

;; Query time: 88 msec
;; SERVER: 1.1.1.1#53(1.1.1.1) (UDP)
;; WHEN: Tue Mar 14 16:42:36 UTC 2023
;; MSG SIZE  rcvd: 55

root@vpn:~#

Answer 1

[ValdikSS]

Интернет на устройствах перестаёт работать, потому что возникает асимметричная маршрутизация: ответный трафик с сервера до IP-адреса клиентов Wireguard начинает маршрутизироваться через NordVPN, с IP-адреса сервера NordVPN, а не адреса вашего сервера.

Необходимо настроить NAT в интерфейс NordVPN, если пакеты идут из интерфейса Wireguard, а также либо policy routing для каждого интерфейса (в особенности, для физического интерфейса сервера, на котором слушает Wireguard), либо настроить Wireguard на bind к физическому интерфейсу.