Как правильно настроить сеть для shell / хост в Proxmox VE?

Question

[pavelsha]

Друзья помоги советом.
Я собрал небольшой домашний стенд на Proxmox VE (XEON, 32 GB RAM, 1 LAN).
Развернул несколько виртуалок и успешно поигрался с ними.
Дошел до настройки CT, но неожиданно увидел, что сеть я хоста PVE не доступна

Загрузка CT не происходит

spoiler

Resolving download.proxmox.com (download.proxmox.com)... 212.224.123.70, 2a01:7e0:0:424::249
Connecting to download.proxmox.com (download.proxmox.com)|212.224.123.70|:80... failed: No route to host.
TASK ERROR: download failed: Connecting to download.proxmox.com (download.proxmox.com)|2a01:7e0:0:424::249|:80... failed: Network is unreachable.

PING в shell тоже не идет

PING 1.1.1.1 (1.1.1.1) 56(84) bytes of data.
From 169.254.55.107 icmp_seq=1 Destination Host Unreachable

Сеть на виртуалках есть. В PVE настроил Bridge vmbr0

IP A на хосте в shell

ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: enp6s0: <BROADCAST,MULTICAST,DYNAMIC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master vmbr0 state UP group default qlen 1000
    link/ether 00:a1:05:f0:ca:b5 brd ff:ff:ff:ff:ff:ff
3: vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 00:a1:05:f0:ca:b5 brd ff:ff:ff:ff:ff:ff
    inet 192.168.0.50/24 scope global vmbr0
       valid_lft forever preferred_lft forever
    inet6 fe80::2a1:5ff:fef0:cab5/64 scope link 
       valid_lft forever preferred_lft forever
4: tap104i0: <BROADCAST,MULTICAST,PROMISC,DYNAMIC,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master fwbr104i0 state UNKNOWN group default qlen 1000
    link/ether 76:5e:85:e8:f6:6f brd ff:ff:ff:ff:ff:ff
    inet 169.254.30.182/16 brd 169.254.255.255 scope global tap104i0
       valid_lft forever preferred_lft forever
5: fwbr104i0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 8e:d0:5e:2e:d0:3d brd ff:ff:ff:ff:ff:ff
6: fwpr104p0@fwln104i0: <BROADCAST,MULTICAST,DYNAMIC,UP,LOWER_UP> mtu 1500 qdisc noqueue master vmbr0 state UP group default qlen 1000
    link/ether ee:29:fa:a5:f3:2d brd ff:ff:ff:ff:ff:ff
    inet 169.254.176.127/16 brd 169.254.255.255 scope global fwpr104p0
       valid_lft forever preferred_lft forever
    inet6 fe80::ec29:faff:fea5:f32d/64 scope link 
       valid_lft forever preferred_lft forever
7: fwln104i0@fwpr104p0: <BROADCAST,MULTICAST,DYNAMIC,UP,LOWER_UP> mtu 1500 qdisc noqueue master fwbr104i0 state UP group default qlen 1000
    link/ether 4a:8a:cd:88:cd:82 brd ff:ff:ff:ff:ff:ff
    inet 169.254.55.107/16 brd 169.254.255.255 scope global fwln104i0
       valid_lft forever preferred_lft forever

Настройки сети на хосте

spoiler

cat /etc/network/interfaces
auto lo
iface lo inet loopback

iface enp6s0 inet manual

auto vmbr0
iface vmbr0 inet static
        address 192.168.0.50/24
        gateway 192.168.0.1
        bridge-ports enp6s0
        bridge-stp off
        bridge-fd 0

Где и какие настройки я потерял? Что по-RTFM-ить, чтобы не допускать таких ошибок ?

UPD:
Почему ping на хосте идет с адреса 169.254.55.107,
а не с 192.168.0.50, который присвоен бриджу?

Адрес на интерфейсе хоста enp6s0 не указан. Адрес для бриджа 192.168.0.50


Если пытаюсь установить его через веб-интерфейс PVE, то
"iface enp6s0 - ip address can't be set on interface if bridged in vmbr0 (500)"

Друзья, я закопался...

Если удаляю маршруты и IP-адрес с интерфейса enp6s0 через shell (ip addr del dev enp6s0), то после перезагрузки хоста PVE адрес и маршруты появляются снова. И снова PING на хосте PVE не работает. У гостевых виртуалок и контейнеров при этом доступ к сети есть.

Answer 1

[Ivan Ustûžanin]

адреса 169.254.55.107/16 немаршрутизируемые, следовательно или неуказаны адреса на виртуалках, или ненастроен DHCP-сервер

ещё вариант виртуалки цепляются не к тому интерфейсу

Comments

[pavelsha]

Стоп. Минутку.

Наверное, я не совсем понятно объяснил...
На виртуалках сеть есть. Они успешно берут DHCP с роутера.
для них Network Device: bridge=vmbr0

А вот на хоте PVE в shell-е вижу что PING идет с адреса 169.254.55.107,
а не с 192.168.0.50, который присвоен бриджу

Адрес на интерфейсе хоста enp6s0 не указан.

[Ivan Ustûžanin]

pavelsha, а что с таблицей маршрутизации?
и непонятно откуда большое количество интерфейсов

[pavelsha]

IvanU7n,
У меня сейчас создано в PROXMOX шесть виртуальных машин

Если в них самих смотреть, то их адреса такого типа
192.168.0.182

На хосте таблица маршрутизации

ip route
0.0.0.0 dev fwln102i0 scope link 
0.0.0.0 dev fwpr102p0 scope link 
0.0.0.0 dev tap102i0 scope link 
0.0.0.0 dev fwln104i0 scope link 
0.0.0.0 dev fwpr104p0 scope link 
0.0.0.0 dev tap104i0 scope link 
default dev fwln102i0 scope link 
default dev enp6s0 scope link 
default via 192.168.0.1 dev vmbr0 proto kernel onlink 
169.254.0.0/16 dev tap104i0 proto kernel scope link src 169.254.30.182 
169.254.0.0/16 dev fwpr104p0 proto kernel scope link src 169.254.176.127 
169.254.0.0/16 dev fwln104i0 proto kernel scope link src 169.254.55.107 
169.254.0.0/16 dev tap102i0 proto kernel scope link src 169.254.178.138 
169.254.0.0/16 dev fwpr102p0 proto kernel scope link src 169.254.56.58 
169.254.0.0/16 dev fwln102i0 proto kernel scope link src 169.254.49.110 
192.168.0.0/24 dev vmbr0 proto kernel scope link src 192.168.0.50 

ip rule
0:      from all lookup local
32766:  from all lookup main
32767:  from all lookup default

[Руслан Федосеев]

а как система должна понять, какой из 8 шлюзов по умолчанию использовать?
сеть настройте корректно на хосте

[Ivan Ustûžanin]

pavelsha, нужно разбираться откуда на хосте появились дополнительные интерфейсы, т.к. их очень много и один из них имеет default route, который судя по всему и перебивает default route для шлюза

[pavelsha]

Спасибо за подсказки. PING пошел
CT-шаблоны скачиваются

Удалил адрес с интерфейса enp6s0 через shell

ip addr del dev enp6s0

Убрал строку с из ip route

[pavelsha]

Друзья, я закопался...

Если удаляю маршруты и IP-адрес с интерфейса enp6s0 через shell (ip addr del dev enp6s0), то после перезагрузки хоста PVE адрес и маршруты появляются снова. И снова PING на хосте PVE не работает. У гостевых виртуалок и контейнеров при этом доступ к сети есть.

Answer 2

[Oleg P.]

вот эта строка вызывает сомнения iface enp6s0 inet manual
у меня чуть по другому allow-hotplug enp8s0

Что не так с сетью см.:

ip -c -br a
lo               UNKNOWN        127.0.0.1/8 ::1/128 
enp8s0           UP             
vmbr0            UP             192.168.1.242/24 fe80::692:26ff:fed9:feb3/64 
ip r
default via 192.168.1.1 dev vmbr0 proto kernel onlink 
192.168.1.0/24 dev vmbr0 proto kernel scope link src 192.168.1.242

Comments

[pavelsha]

Смотрю в документации PVE Proxmox
https://pve.proxmox.com/pve-docs/pve-admin-guide.h...
3.4.4. Default Configuration using a Bridge

iface lo inet loopback

iface eno1 inet manual

auto vmbr0
iface vmbr0 inet static
address 192.168.10.2/24
gateway 192.168.10.1
bridge-ports eno1
bridge-stp off
bridge-fd 0

У меня также как в мануале.

А allow-hotplug - он, что именно дает интерфейсу? Если что, то У меня встроенная сетевуха, но не модем в режиме NDIS.