Как правильно организовать сеть в Proxmox с использованием pfSense?

Question

[Teraxis]

Есть выделенный сервер Hetzner с одним сетевым интерфейсом (например 42.88.80.15 (GT 42.88.80.1)) и 3-мя дополнительными IP адресами (например 42.88.80.27, 42.88.80.30, 42.88.79.152 (GT 42.88.79.225)). На сервере установлено Proxmox с виртуальными машинами и контейнерами. Два веб-сервера используют IP 42.88.80.27, 42.88.80.30.

На одной виртуальной машине установлено pfSense (Virtual Machines), который выступает в качестве шлюза. Через него проходит трафик к другим виртуальным машинам. Две виртуальные машины (на Linux Container) используют выделенные IP, другие используют IP адрес машины, на которой установлен pfSense.

Сейчас на сервере Proxmox настроен:

1. мост vmbr0 (с внешним IP) на enp4s0;
   
2. vmbr1 (локальная сеть 10.20.30.1)
   
3. другие vmbr.
   

На виртуальной машине pfSense созданы интерфейсы net0, net1, net2 (Intel E1000), которые смотрят в vmbr0, но имеют свои MAC-адреса, которые привязаны з определенному IP. На самом pfSense для каждого интерфейса создан интерфейс соответственно.
Серверы, использующие IP 42.88.80.27, 42.88.80.30 настроены в режиме NAT 1:1, остальные через Port Forward.

Недавно заметил, что сервер с IP 42.88.80.30 для исходящих соединений использует 42.88.80.27. К тому же все очень тормозит, серверы долго отзываются. По-видимому, что-то неправильно настроено. Встречал статьи, где говорилось, что подобную сеть нужно настраивать при помощи VLAN.

В результате хотелось чтобы получилось следующее:

1. две виртуальные машины использовали собственные IP (для исходящего и входящего трафика). Это веб-серверы, на которых размещаются сайты;
   
2. другие виртуальные машины использовали общий IP-адрес с сервером pfSense для исходящего трафика. Для входящего трафика происходил проброс лишь отдельных портов на эти машины (например, на сервер с Asterisk просыпаются порты 5060, 5061, 10000-20000 и т.д.);
   
3. все виртуальные машины находятся в общей локальной сети pfSense (с возможностью ограничения трафика между отдельными машинами);
   
4. основной IP адрес сервера Hetzner использовался только для доступа к Proxmox
   

Подскажите пожалуйста, какая модель организации подобной сети будет наиболее правильной и продуктивной?

Answer 1

[Softer]

У меня такая схема работает, но с MIkrotik.
Я добавил 6 интерфейсов (по кол-ву доп. IP) смотрящих в vmbr0 (туда же входит внешний интерфейс сервера. MAC-и естественно взяты из Робота.
Далее сдеделал LAN-интерфейс смотрящий в vmbr1 (куда все виртуалки подключены) и нарезал vlan-ы. Соответственно в настройках сети KVM-машин и LXC-контейнеров я указываю не только интерфейс vmbr1, но и требуемый vlan.
НА Mikrotik-е настроен Source policy routing, грабли - нужно указывать явно интерфейсы шлюзов, т.к. у Хетцнера чаще всего доп. IP идут из одной сети и с одним GW.

Comments

[Teraxis]

Примерно такаже все настроено
1) создал на виртуальной машине с pfSense три network device, где указал MAC адреса IP-шников от Hetzners, смотрящих в vmbr0;
2) и один network device смотрящий в локальную сеть vmbr2
3) в pfSense создал три интерфейса с указанием MAC и типом конфигурации DHCP (один из них используться в качестве WAN)
4) один интрефес для LAN
5) настроил 1:1 для двох машин, которіе будут использовать выделенные IP

В результате все работает, но на нашинах с выделенными IP curl ipinfo.io/ip выдает IP WAN интерфейса?

[Softer]

Teraxis, а вот тут магия source policy routing начинается :) Суть в том что в зависимости от источника пакета на него вешается метка и на основе этой метки система решает согласно какой таблицы маршрутизации направлять далее этот пакет. Для DNAT метка вешается на connection (откуда пришел - туда и ушел.

Answer 2

[Пума Тайланд]

Не очень понятен вопрос так как ответ приведен на картинке.
Просто сделайте как на ней

Comments

[Teraxis]

Ответ-то работает, но некорректно. Во-первых, форвардинг проходит с задержками, даже интерфейс pfSense долго отзывается. При этом сервер 32 ОЗУ, 1 Гбт порт, htop показывает все норм, нагрузки почти нет. Во-вторых, почему-то машина с IP 42.88.80.30 выдает себя за 42.88.80.27, при том, что pfSense имеет IP 42.88.79.152.

Понимаю, что где-то есть ошибка, но не могу понять где. Возможно более правильно настраивать виртуалки в pfSense через VLAN?

Сейчас конфиги выглядят следующим образом:

+---------------
| Proxmox interfaces
+---------------

auto lo
iface lo inet loopback

iface enp4s0 inet manual

auto vmbr0
iface vmbr0 inet static
address 42.88.80.15
netmask 255.255.255.224
gateway 42.88.80.1
bridge_ports enp4s0
bridge_stp off
bridge_fd 0
pointopoint 42.88.80.1

auto vmbr1
iface vmbr1 inet static
address 10.20.30.1
netmask 255.255.255.0
bridge_ports none
bridge_stp off
bridge_fd 0
pre-up iptables-restore < /etc/iptables.rules

auto vmbr2
iface vmbr2 inet static
address 192.168.1.1
netmask 255.255.255.0
bridge_ports none
bridge_stp off
bridge_fd 0

auto vmbr3
iface vmbr3 inet static
address 192.168.2.1
netmask 255.255.255.0
bridge_ports none
bridge_stp off
bridge_fd 0

auto vmbr4
iface vmbr4 inet static
address 192.168.20.1
netmask 255.255.255.0
bridge_ports none
bridge_stp off
bridge_fd 0
bridge_vlan_aware yes

+---------------
| Web Server interfaces
+---------------

auto lo
iface lo inet loopback

auto eth0
iface eth0 inet static
address 192.168.1.100
netmask 255.255.255.0
gateway 192.168.1.254
pointopoint 42.88.80.1

+---------------
| pfSense
+---------------

WAN (wan) -> em1 -> v4: 42.88.79.152/27
LAN (lan) -> em0 -> v4: 192.168.1.254/24
Web1 (opt1) -> em2 -> v4/DHCP4: 42.88.80.27/27
Web2 (opt2) -> em3 -> v4/DHCP4: 42.88.80.30/27

[Пума Тайланд]

Ну надо смотреть где тупит мтр и трейсроут

Answer 3

[cap_nemo]

Вот здесь есть полезная информация:

https://docs.netgate.com/pfsense/en/latest/virtual...

Because the hardware checksum offload is not yet disabled, accessing pfSense webGUI might be sluggish. This is NORMAL and is fixed in the following step.

To disable hardware checksum offload, navigate under System > Advanced and select Networking tab. Under Networking Interfaces section check the Disable hardware checksum offload and click save. Reboot will be required after this step.

Не исключено, что настройки проверки контрольных сумм на ProxMox и тормозят сетевые пакеты.