Настройка сети Proxmox с дополнительным белым IP hetzner (mikrotik как gw)?

Question

[ironfist85]

Приветствую! Помогите советом. Есть сервер у hetzner, установлен proxmox, дополнительно арендовал additional IP. Хочу установить mikrotik chr в роле шлюза для других вм, чтобы он NAT-ил весь трафик .Знаю что хетцнер привязывает к MAC-адресам и что нужно в Proxmox, в настройках сетевого интерфейса для микротика, что будет смотреть в vmbr0 подменить MAC с панели Robot для доп IP. Перечитал мануалы hetzner-a, но сложно все. Боюсь уронить сервер с этими настройками. Помогите пожалуйста советом.

Конфигурация сейчас:
-------------------------------------------
source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback

iface lo inet6 loopback

auto enp5s0
iface enp5s0 inet static
address 157.90.YY.XXX/26 (main ip)
gateway 157.90.YY.NNN
up route add -net 157.90.YY.AAA netmask 255.255.255.BBB gw 157.90.YY.NNN dev enp5s0

iface enp5s0 inet6 static
address 2a01:4f8:xxx:xxxx::2/64
gateway fexx::x

auto vmbr0
iface vmbr0 inet manual
bridge-ports none
bridge-stp off
bridge-fd 0

Дополнительный IP: 157.90.EEE.DDD


Конфигурация как я понимаю для этой схемы с микротиком:
----------------------------------------------------------------------
auto lo
iface lo inet loopback
iface enp5s0 inet manual

auto vmbr0
iface vmbr0 inet static
address 157.90.YY.XXX/26 (main ip)
gateway 157.90.YY.NNN
bridge-ports enp5s0
bridge-stp off
bridge-fd 0
mask 255.255.255.BBB
up route add -net 157.90.YY.AAA netmask 255.255.255.BBB gw 157.90.YY.NNN dev enp5s0 (маршрут,
который изначально прописан в физическом интерфейсе hetzner)
up ip route add 157.90.EEE.DDD/29 dev vmbr0 (тут additional IP)

auto vmbr1 (это бридж для локальной сети вм за микротиком )
iface vmbr1 inet manual
bridge-ports none
bridge-stp off
bridge-fd 0

----------------------------------------------------------------------
Просьба направить в правильную сторону. Ткните носом, где ошибся или как верно.

Сейчас так в настроена сеть:

Answer 1

[Дмитрий]

Т.е. хостер сообщает вам mac-адрес для дополнительного ip, я верно понял? Если так, то просто прописываете этот mac-адрес в настройках виртуального сетевого интерфейса CHR, который подключен в бридж vmbr0, и все. Каких-либо специальных настроек на proxmox делать не требуется, все настройки ip-адресации и маршрутизации между vmbr0 и vmbr1 будут прописываться уже на CHR.

Comments

[ironfist85]

Добрый день, Дмитрий. mac для доп ip есть. Дело в том, что vmbr0 сейчас просто как виртуальный бридж, без завязки на физический интерфейс хетцнера (указал выше конфигурацию как сейчас, и как я вижу эту конфигурацию для организации моей задачи), vmbr0 не завязан на физический enp5s0. Получается даже если я подменю мак на vmbr0 - ничего не будет работать, нет откуда интерфейсу микротика получать доп IP.

[ironfist85]

NAT на микротике для локальной сети (vmbr1) все настроено. Меня беспокоит вопрос правильного объединения физического enp5s0 с vmbr0. (чтобы не обвалить доступ к proxmox и серверу, а то придется потом KVM заказывать уже в этот раз платный )

[Дмитрий]

Нужно перевесить внешний ip-адрес с enp5s0 на vmbr0, и добавить enp5s0 в этот бридж. По идее, мак-адрес бриджа будет таким-же, как у первого включенного в него физического интерфейса, поэтому доступ слететь не должен. Можно предварительно забэкапить /etc/network/interfaces и если что-то пойдет не так, просто восстановить его. Доступ к виртуальной консоли сервера предоставляют?

[ironfist85]

Дмитрий, Спасибо за совет. Доступ к KVM предоставляют, но бесплатное время я уже исчерпал, теперь только за доп. оплату. Скажите - правильно ли я описал настройки в том варианте "Конфигурация как я понимаю для этой схемы с микротиком"? или что то да не так?

[Дмитрий]

Отметил то, что вызывает у меня сомнения:

auto lo
iface lo inet loopback
iface enp5s0 inet manual

auto vmbr0
iface vmbr0 inet static
address 157.90.YY.XXX/26 (main ip)
gateway 157.90.YY.NNN
bridge-ports enp5s0
bridge-stp off
bridge-fd 0
mask 255.255.255.BBB        <-- это не нужно, маска уже прописана в ip
up route add -net 157.90.YY.AAA netmask 255.255.255.BBB gw 157.90.YY.NNN dev enp5s0 (маршрут, который изначально прописан в физическом интерфейсе hetzner)      <-- не уверен, что это нужно, т.к. у вас вроде уже есть default gateway с тем же ip
up ip route add 157.90.EEE.DDD/29 dev vmbr0 (тут additional IP)    <-- это не нужно здесь, если это сеть за CHR

auto vmbr1 (это бридж для локальной сети вм за микротиком )
iface vmbr1 inet manual
bridge-ports none
bridge-stp off
bridge-fd 0

Все эти изменения проще всего сделать через вебку Proxmox, он все равно изменения применит только после перезагрузки (или нажатия Apply Configuration в 6-й версии, но я бы лучше перезагрузился)

[Дмитрий]

А чтобы подстраховаться, можно перед изменением конфигурации запланировать на сервере proxmox задание в шедулере, которое через какое-то время восстановит конфиг сети из бэкапа, и отправит сервер на перезагрузку. Если все будет нормально, и доступ к серверу после изменения конфига не потеряется, это задание можно будет удалить.

[ironfist85]

Дмитрий, Спасибо. Попробую в таком варианте. Надеюсь не потеряю доступ.

[ironfist85]

т.е. правильно ли я понял:
1. правим конфиг /etc/networ/interfaces с указанными выше настройками
2. на proxmox-e в настройка вм mikrotik chr добавляем vmbr0 (с подменой на мак из панели robot)
3. доп ip должен появиться на ethernet1 в микротике
верно?

[Дмитрий]

Вроде бы так, кроме последнего пункта. Пункт 3. будет верен, если дополнительный ip выдается по dhcp. Если да, то в CHR нужно будет добавить ip- > dhcp client на нужный интерфейс, чтобы он получил ip. Если dhcp нет, то ip-адрес нужно будет добавить на интерфейс CHR самостоятельно.

[ironfist85]

если статика , то gw для доп ip будет main ip

[Дмитрий]

ironfist85, по идее шлюзом должен быть ip-адрес хостера, обычно первый в подсети. Если подсеть для микротика та же, что и для proxmox, то шлюз у них должен быть одинаков.

[ironfist85]

т.е. вот так

auto lo
iface lo inet loopback
iface enp5s0 inet manual

auto vmbr0
iface vmbr0 inet static
address 157.90.YY.XXX/26 (main ip)
gateway 157.90.YY.NNN
bridge-ports enp5s0
bridge-stp off
bridge-fd 0
mask 255.255.255.BBB <-- это не нужно, маска уже прописана в ip
up route add -net 157.90.YY.AAA netmask 255.255.255.BBB gw 157.90.YY.NNN dev enp5s0 (маршрут, который изначально прописан в физическом интерфейсе hetzner) <-- не уверен, что это нужно, т.к. у вас вроде уже есть default gateway с тем же ip
up ip route add 157.90.EEE.DDD/29 dev vmbr0 (тут additional IP) <-- это не нужно здесь, если это сеть за CHR

auto vmbr1 (это бридж для локальной сети вм за микротиком )
iface vmbr1 inet manual
bridge-ports none
bridge-stp off
bridge-fd 0

Answer 2

[Пума Тайланд]

Вмбр в етх0 пихаете и туда же сетевки ваших виртуалок , и они по маку сами получать автоматом Айпи нужный

Comments

[ironfist85]

т.е. вот так ?
--------------------------
auto lo
iface lo inet loopback
iface enp5s0 inet manual

auto vmbr0
iface vmbr0 inet static
address 157.90.YY.XXX/26 (main ip)
gateway 157.90.YY.NNN
bridge-ports enp5s0
bridge-stp off
bridge-fd 0
mask 255.255.255.BBB <-- это не нужно, маска уже прописана в ip
up route add -net 157.90.YY.AAA netmask 255.255.255.BBB gw 157.90.YY.NNN dev enp5s0 (маршрут, который изначально прописан в физическом интерфейсе hetzner) <-- не уверен, что это нужно, т.к. у вас вроде уже есть default gateway с тем же ip
up ip route add 157.90.EEE.DDD/29 dev vmbr0 (тут additional IP) <-- это не нужно здесь, если это сеть за CHR

auto vmbr1 (это бридж для локальной сети вм за микротиком )
iface vmbr1 inet manual
bridge-ports none
bridge-stp off
bridge-fd 0

-------------------
при этом доступ к proxmox и серверу не должен потеряться?

[Пума Тайланд]

ironfist85, а в чем проблема потеряться грузанетесь за секунду в рескью и вернёте обратно ну или Лару попросите

[ironfist85]

Пума Тайланд, спасибо за совет. хоть скажите правильный конфиг примерно или нет. суть то понимаю, что физический интерфейс надо запихнуть в бридж.

[ironfist85]

Спасибо. все решилось легко и просто. ))

[ironfist85]

решение: в веб панели proxmox переносим настройки main ip c enp5s0 на vmbr0
перегружаем сеть. и все работает. мак адрес для доп ip подменяем в настройка сетевой карты для микротика в proxmox.

Answer 3

[ironfist85]

NAT на микротике для локальной сети (vmbr1) все настроено. Меня беспокоит вопрос правильного объединения физического enp5s0 с vmbr0. (чтобы не обвалить доступ к proxmox и серверу, а то придется потом KVM заказывать уже в этот раз платный ). Сейчас вот так сеть: