Почему при включённом впн нет интернета на виртуалках?

Question

historydev @historydev

Редактирую файлы с непонятными расширениями

Почему при включённом впн нет интернета на виртуалках?

Сеть pve:

rules.v4

# Generated by iptables-save v1.8.9 on Mon Jan 15 05:25:22 2024
*filter
:INPUT ACCEPT [485:79687]
:FORWARD ACCEPT [10:840]
:OUTPUT ACCEPT [514:79762]
#-A INPUT -d 10.0.0.0/8 -i vmbr1 -j DROP
#-A FORWARD -s 10.0.0.0/8 -d 10.0.0.1/32 -j DROP
COMMIT
# Completed on Mon Jan 15 05:25:22 2024
# Generated by iptables-save v1.8.9 on Mon Jan 15 05:25:22 2024
*raw
:PREROUTING ACCEPT [756:119641]
:OUTPUT ACCEPT [773:117072]
COMMIT
# Completed on Mon Jan 15 05:25:22 2024
# Generated by iptables-save v1.8.9 on Mon Jan 15 05:25:22 2024
*nat
:PREROUTING ACCEPT [1:353]
:INPUT ACCEPT [1:353]
:OUTPUT ACCEPT [0:0]
:POSTROUTING ACCEPT [0:0]
-A PREROUTING -d 10.0.0.2/32 -p tcp -m tcp --dport PORT -j DNAT --to-destination 10.1.0.2:PORT
-A PREROUTING -d 10.0.0.2/32 -p tcp -m tcp --dport PORT -j DNAT --to-destination 10.1.0.2:PORT
-A PREROUTING -d 10.0.0.2/32 -p tcp -m tcp --dport PORT -j DNAT --to-destination 10.1.0.4:PORT
-A POSTROUTING -s 10.1.0.0/16 -o vmbr0 -j MASQUERADE
-A POSTROUTING -s 10.1.0.0/16 -o tun0 -j MASQUERADE
COMMIT
# Completed on Mon Jan 15 05:25:22 2024

netplan на виртуалке

# This is the network config written by 'subiquity'
network:
  ethernets:
    ens18:
      addresses:
      - 10.1.0.2/16
      nameservers:
        addresses:
        - 8.8.8.8
        search:
        - .
      routes:
      - to: default
        via: 10.1.0.1
  version: 2

ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host noprefixroute 
       valid_lft forever preferred_lft forever
2: enp5s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr0 state UP group default qlen 1000
    link/ether d8:5e:d3:a1:11:83 brd ff:ff:ff:ff:ff:ff
3: vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether d8:5e:d3:a1:11:83 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.2/8 scope global vmbr0
       valid_lft forever preferred_lft forever
    inet6 fe80::da5e:d3ff:fea1:1183/64 scope link 
       valid_lft forever preferred_lft forever
4: vmbr1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 32:23:5a:04:9f:b5 brd ff:ff:ff:ff:ff:ff
    inet 10.1.0.1/16 scope global vmbr1
       valid_lft forever preferred_lft forever
    inet6 fe80::ccf6:ff:fef9:5366/64 scope link 
       valid_lft forever preferred_lft forever
5: tap100i0: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master fwbr100i0 state UNKNOWN group default qlen 1000
    link/ether 5a:76:07:9f:d2:00 brd ff:ff:ff:ff:ff:ff
6: fwbr100i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 72:04:f3:e0:e5:2d brd ff:ff:ff:ff:ff:ff
7: fwpr100p0@fwln100i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master vmbr1 state UP group default qlen 1000
    link/ether 32:23:5a:04:9f:b5 brd ff:ff:ff:ff:ff:ff
8: fwln100i0@fwpr100p0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr100i0 state UP group default qlen 1000
    link/ether 72:04:f3:e0:e5:2d brd ff:ff:ff:ff:ff:ff
9: tap102i0: <BROADCAST,MULTICAST,PROMISC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master fwbr102i0 state UNKNOWN group default qlen 1000
    link/ether 7a:e8:bd:cb:d8:e7 brd ff:ff:ff:ff:ff:ff
10: fwbr102i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether a6:ac:82:03:d0:9a brd ff:ff:ff:ff:ff:ff
11: fwpr102p0@fwln102i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master vmbr1 state UP group default qlen 1000
    link/ether 7e:62:f7:03:bd:fa brd ff:ff:ff:ff:ff:ff
12: fwln102i0@fwpr102p0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr102i0 state UP group default qlen 1000
    link/ether a6:ac:82:03:d0:9a brd ff:ff:ff:ff:ff:ff
17: tun0: <POINTOPOINT,MULTICAST,NOARP,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN group default qlen 500
    link/none 
    inet 192.168.104.6/22 scope global tun0
       valid_lft forever preferred_lft forever
    inet6 fe80::39eb:86ae:6f30:32b0/64 scope link stable-privacy 
       valid_lft forever preferred_lft forever

iptables -t nat -L -n -v

Chain PREROUTING (policy ACCEPT 150 packets, 12669 bytes)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 DNAT       6    --  *      *       0.0.0.0/0            10.0.0.2             tcp dpt:PORT to:10.1.0.2:PORT
    0     0 DNAT       6    --  *      *       0.0.0.0/0            10.0.0.2             tcp dpt:PORT to:10.1.0.2:PORT
    0     0 DNAT       6    --  *      *       0.0.0.0/0            10.0.0.2             tcp dpt:PORT to:10.1.0.4:PORT

Chain INPUT (policy ACCEPT 12 packets, 3961 bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain OUTPUT (policy ACCEPT 64 packets, 4064 bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain POSTROUTING (policy ACCEPT 64 packets, 4064 bytes)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 MASQUERADE  0    --  *      vmbr0   10.1.0.0/16          0.0.0.0/0           
   76  5104 MASQUERADE  0    --  *      tun0    10.1.0.0/16          0.0.0.0/0

На хосте интернет работает, до переустановки системы с этим конфигом, но другой подсетью работал инет на виртуалках.

tun0 присутствует.

Пробовал так-же убрать подсеть:

-A POSTROUTING -o vmbr0 -j MASQUERADE
-A POSTROUTING -o tun0 -j MASQUERADE

ping 8.8.8.8 с виртуалки не работает, с хоста работает, при включённом впн.

Без впн на вм есть инет.

Используется openvpn.

Вопрос задан 15 янв.
565 просмотров

23 комментария

Подписаться 3 Простой 23 комментария

Bermut @Bermut

Вот ответь сначала на вопрос, ЗАЧЕМ НА ИНТЕРФЕЙС VMBR0 маршрутизируется 10.0.0.0/8 подсеть

Написано 15 янв.
historydev @historydev Автор вопроса

Bermut, где?

Написано 15 янв.
AUser0 @AUser0

К Linux Bridge можно прицеплять IntPort. Вот на них и нужно ставить IP, их и нужно прокидывать как интерфейсы в виртуалки.

Написано 15 янв.
historydev @historydev Автор вопроса

AUser0, не нашёл для pve как это сделать, pve linux bridge intport

Написано 15 янв.
Valentin Barbolin @dronmaxman

покажи ip ro после поднятия тунеля.

Написано 15 янв.
asmelnik @asmelnik

sysctl -a | grep forward
И смотрите tun0, разрешен форвардинг или нет на нем.

Написано 15 янв.

historydev @historydev Автор вопроса

Valentin Barbolin,

0.0.0.0/1 via 192.168.104.1 dev tun0 
default via 10.0.0.1 dev vmbr0 proto kernel onlink 
10.0.0.0/8 dev vmbr0 proto kernel scope link src 10.0.0.2 
10.1.0.0/16 dev vmbr1 proto kernel scope link src 10.1.0.1 
10.224.0.0/15 via 192.168.104.1 dev tun0 
68.171.224.0/19 via 192.168.104.1 dev tun0 
74.82.64.0/19 via 192.168.104.1 dev tun0 
77.105.166.38 via 10.0.0.1 dev vmbr0 
103.246.200.0/22 via 192.168.104.1 dev tun0 
128.0.0.0/1 via 192.168.104.1 dev tun0 
178.239.88.0/21 via 192.168.104.1 dev tun0 
185.104.45.0/24 via 192.168.104.1 dev tun0 
192.168.104.0/22 dev tun0 proto kernel scope link src 192.168.104.6 
193.105.213.36/30 via 192.168.104.1 dev tun0 
203.104.128.0/20 via 192.168.104.1 dev tun0 
203.104.144.0/21 via 192.168.104.1 dev tun0 
203.104.152.0/22 via 192.168.104.1 dev tun0

Написано 15 янв.

historydev @historydev Автор вопроса

asmelnik,

net.ipv4.conf.tun0.bc_forwarding = 0
net.ipv4.conf.tun0.forwarding = 0
net.ipv4.conf.tun0.mc_forwarding = 0

Написано 15 янв.

asmelnik @asmelnik

Ну и сети у вас на vmbr0 и vmbr1 пересекаются, что не есть хорошо.
10.1.0.0/16 является частью 10.0.0.0/8
Это, вроде бы, и не смертельно, но ни один "железячный" маршрутизатор не позволит вам так адреса на своих интерфейсах назначить. (VRF и прочие аналоги не рассматриваем, т.к. это уже по факту разные роутеры будут)

Написано 15 янв.
asmelnik @asmelnik

А вообще -- tcpdump в двух терминалах на 2 интерфейса и смотрте, что на один пришло, и что со второго улетело....

Написано 15 янв.
asmelnik @asmelnik

historydev,
net.ipv4.conf.tun0.forwarding = 0

Вот вам и ответ
#sysctl net.ipv4.conf.tun0.forwarding=1
и посмотрите, заработает инет илинет

Написано 15 янв.
asmelnik @asmelnik

sysctl -a | grep forward

Для остальных интерфейсов что показывает??

Написано 15 янв.
historydev @historydev Автор вопроса

asmelnik,
Да, заработало! Спасибо!

Мне все их на 1 ставить или только forwarding?

Написано 15 янв.
asmelnik @asmelnik

0.0.0.0/1 via 192.168.104.1 dev tun0
....
128.0.0.0/1 via 192.168.104.1 dev tun0

Сами додумались? или подсказал кто?

Написано 15 янв.
asmelnik @asmelnik

historydev,
Не вдаваясь в подробности -- как на остальных интерфейсах.
Только учтите - при переподключении VPN-а все вернется как было.
вам или
net.ipv4.conf.default.forwarding = 1
(можно и net.ipv4.conf.all.forwarding = 1 чтоб наверняка )
надо при загрузке выставить (и прям сейчас тоже)
Или при коннекте VPN-а скриптом менять.

Написано 15 янв.
historydev @historydev Автор вопроса

asmelnik, да, сделал так net.ipv4.conf.all.forwarding = 1

Написано 15 янв.
asmelnik @asmelnik

Ну смотрите что после ребута будет.
Это лучше сразу отработать, чтоб через год не вспоминать мучительно как пнуть, чтоб заработало :)

Написано 15 янв.
Mikhail Osher @miraage

Едва разбираюсь в сетях. Однако люблю читать, как эскперты какие-то магические цифры друг другу шлют в комментах.

Написано 15 янв.
shurshur @shurshur

asmelnik, так иногда делают, чтобы поднимающийся VPN или роут из динамической маршрутизации не перетирал имеющийся default route, что в случае чего спасёт от полной потери сети.

upd: хотя тут скорее наоборот, чтобы родной роут не трогать, поверх два в VPN.

Написано 15 янв.
asmelnik @asmelnik

shurshur,
Я сам этот "финт" лет 20 как использую, Просто интересно стало - автор вопроса сам додумался, или это автор VPN шлюза реализовал?
А так да -- это полный эквивалент 0.0.0.0/0 с лучшей метрикой, пока он есть, default не используется никогда, т.к. является менее уникальным.

Если не охота бодаться с переопределением default или метриками -- вполне рабочее и надежное решение.

Написано 15 янв.
Valentin Barbolin @dronmaxman

Интересно как работало без VPN если форвард был запрещен net.ipv4.conf.all.forwarding = 1.
Похоже пациент звенит)

Написано 15 янв.
historydev @historydev Автор вопроса

asmelnik, подсказал человек который хорошо понимает это всё

Написано 15 янв.
asmelnik @asmelnik

Valentin Barbolin,

Интересно как работало без VPN если форвард был запрещен net.ipv4.conf.all.forwarding = 1.
Похоже пациент звенит)

Запрет был только на tun0 интерфейсе.
Вот через него и не работало.
net.ipv4.conf.all.forwarding -- это ВСЕ интерфейсы.
А есть еще и для каждого в отдельности.

Написано 15 янв.

Пригласить эксперта

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы

Сетевое администрирование

+1 ещё

Средний
Как настроить работу виджета на сайте без VPN?
- 1 подписчик
- 5 часов назад
- 68 просмотров
1

ответ
VPN

Простой
Почему не работает AllowIPs в WireGuard?
- 1 подписчик
- 9 часов назад
- 116 просмотров
1

ответ
VPN

Простой
Как оплачивать vpn в 2024?
- 1 подписчик
- 15 часов назад
- 243 просмотра
5

ответов
Linux

+2 ещё

Простой
Почему некоторые сайты не открываются в Google Chrome?
- 1 подписчик
- 23 часа назад
- 700 просмотров
3

ответа
VPN

Простой
Блокируется ли Wireguard в РФ?
- 6 подписчиков
- вчера
- 21684 просмотра
19

ответов
Iptables

Простой
Можно ли в nftables добавить счетчик для заблокированных IP?
- 3 подписчика
- вчера
- 147 просмотров
1

ответ
Серверное оборудование

+4 ещё

Средний
Ошибка диска/интерфейса при загрузке proxmox?
- 2 подписчика
- 20 дек.
- 184 просмотра
1

ответ
Linux

+2 ещё

Средний
Как превратить ПК с Linux и прокси в точку доступа Wi-Fi?
- 2 подписчика
- 20 дек.
- 190 просмотров
2

ответа
Компьютерные сети

+3 ещё

Простой
Откуда берутся непонятные DHCP Leases?
- 1 подписчик
- 20 дек.
- 263 просмотра
2

ответа
Компьютерные сети

+1 ещё

Простой
Какие способы есть для ускорения ютуб на роутере?
- 1 подписчик
- 20 дек.
- 730 просмотров
3

ответа
Показать ещё Загружается…

Преподаватель по нейросетям

CODDY

от 25 000 до 45 000 ₽

Младший аналитик

Сбер • Москва

от 130 000 ₽

Аналитик 1С

SM Lab

от 200 000 ₽

Расшифровать требуемые параметры из CAN-шины авто Chery Tiggo 7 Pro

23 дек. 2024, в 00:27

20000 руб./за проект

Отправка команды на (раз)блокировку двигателя Chery Tiggo 7 Pro

23 дек. 2024, в 00:15

20000 руб./за проект

Собрать из исходного кода и запустить в докере рабочее приложение с бд

22 дек. 2024, в 22:57

500 руб./за проект

Вот ответь сначала на вопрос, ЗАЧЕМ НА ИНТЕРФЕЙС VMBR0 маршрутизируется 10.0.0.0/8 подсеть
К Linux Bridge можно прицеплять IntPort. Вот на них и нужно ставить IP, их и нужно прокидывать как интерфейсы в виртуалки.
AUser0, не нашёл для pve как это сделать, pve linux bridge intport
покажи ip ro после поднятия тунеля.
sysctl -a | grep forward
И смотрите tun0, разрешен форвардинг или нет на нем.
Valentin Barbolin,
0.0.0.0/1 via 192.168.104.1 dev tun0 default via 10.0.0.1 dev vmbr0 proto kernel onlink 10.0.0.0/8 dev vmbr0 proto kernel scope link src 10.0.0.2 10.1.0.0/16 dev vmbr1 proto kernel scope link src 10.1.0.1 10.224.0.0/15 via 192.168.104.1 dev tun0 68.171.224.0/19 via 192.168.104.1 dev tun0 74.82.64.0/19 via 192.168.104.1 dev tun0 77.105.166.38 via 10.0.0.1 dev vmbr0 103.246.200.0/22 via 192.168.104.1 dev tun0 128.0.0.0/1 via 192.168.104.1 dev tun0 178.239.88.0/21 via 192.168.104.1 dev tun0 185.104.45.0/24 via 192.168.104.1 dev tun0 192.168.104.0/22 dev tun0 proto kernel scope link src 192.168.104.6 193.105.213.36/30 via 192.168.104.1 dev tun0 203.104.128.0/20 via 192.168.104.1 dev tun0 203.104.144.0/21 via 192.168.104.1 dev tun0 203.104.152.0/22 via 192.168.104.1 dev tun0
asmelnik,
net.ipv4.conf.tun0.bc_forwarding = 0 net.ipv4.conf.tun0.forwarding = 0 net.ipv4.conf.tun0.mc_forwarding = 0
Ну и сети у вас на vmbr0 и vmbr1 пересекаются, что не есть хорошо.
10.1.0.0/16 является частью 10.0.0.0/8
Это, вроде бы, и не смертельно, но ни один "железячный" маршрутизатор не позволит вам так адреса на своих интерфейсах назначить. (VRF и прочие аналоги не рассматриваем, т.к. это уже по факту разные роутеры будут)
А вообще -- tcpdump в двух терминалах на 2 интерфейса и смотрте, что на один пришло, и что со второго улетело....
historydev,
net.ipv4.conf.tun0.forwarding = 0

Вот вам и ответ
#sysctl net.ipv4.conf.tun0.forwarding=1
и посмотрите, заработает инет илинет
sysctl -a | grep forward

Для остальных интерфейсов что показывает??
asmelnik,
Да, заработало! Спасибо!

Мне все их на 1 ставить или только forwarding?
0.0.0.0/1 via 192.168.104.1 dev tun0
....
128.0.0.0/1 via 192.168.104.1 dev tun0

Сами додумались? или подсказал кто?
historydev,
Не вдаваясь в подробности -- как на остальных интерфейсах.
Только учтите - при переподключении VPN-а все вернется как было.
вам или
net.ipv4.conf.default.forwarding = 1
(можно и net.ipv4.conf.all.forwarding = 1 чтоб наверняка )
надо при загрузке выставить (и прям сейчас тоже)
Или при коннекте VPN-а скриптом менять.
asmelnik, да, сделал так net.ipv4.conf.all.forwarding = 1
Ну смотрите что после ребута будет.
Это лучше сразу отработать, чтоб через год не вспоминать мучительно как пнуть, чтоб заработало :)
Едва разбираюсь в сетях. Однако люблю читать, как эскперты какие-то магические цифры друг другу шлют в комментах.
asmelnik, так иногда делают, чтобы поднимающийся VPN или роут из динамической маршрутизации не перетирал имеющийся default route, что в случае чего спасёт от полной потери сети.

upd: хотя тут скорее наоборот, чтобы родной роут не трогать, поверх два в VPN.
shurshur,
Я сам этот "финт" лет 20 как использую, Просто интересно стало - автор вопроса сам додумался, или это автор VPN шлюза реализовал?
А так да -- это полный эквивалент 0.0.0.0/0 с лучшей метрикой, пока он есть, default не используется никогда, т.к. является менее уникальным.

Если не охота бодаться с переопределением default или метриками -- вполне рабочее и надежное решение.
Интересно как работало без VPN если форвард был запрещен net.ipv4.conf.all.forwarding = 1.
Похоже пациент звенит)
asmelnik, подсказал человек который хорошо понимает это всё
Valentin Barbolin,

Интересно как работало без VPN если форвард был запрещен net.ipv4.conf.all.forwarding = 1.
Похоже пациент звенит)

Запрет был только на tun0 интерфейсе.
Вот через него и не работало.
net.ipv4.conf.all.forwarding -- это ВСЕ интерфейсы.
А есть еще и для каждого в отдельности.

Почему при включённом впн нет интернета на виртуалках?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт