Как получить доступ к ESXi за Mikrotik WireGuard?

Question

[Shady]

Коллеги, добрый день!

Для удалённого администратора на Mikrotik Hex S поднят WireGuard.
После подключения к туннелю, есть доступ ко всем подсетям офиса (Vlan10-vlan40), но получить доступ к iLo и ESXi не выходит. Они находятся в vlan50, при пинге с удалённого ПК - пинг идёт только к маршрутизатору mikrotik 10.200.5.1, а к ilo 5.2 и esxi 5.3 пинга нет, доступа по 80 и 443 порту также нет. Почему так происходит, что ко всем подсетям доступ есть, а эти два хоста не выходят на связь?

Comments

[Юрий MikroTik]

На Vlan50 стоит шлюз?

[Valentin Barbolin]

Очевидно где-то не хватает маршрута или блокирует firewall.

[Shady]

Юрий MikroTik, Сам Mikrotik и есть vlan50 10.200.5.1

[Shady]

Valentin Barbolin, да вот как найти блокировку не понимаю..

[Юрий MikroTik]

Shady, явно разрешить, либо выключить drop везде

[Shady]

Юрий MikroTik, явно пытался в цепочке forward разрешить и конкретными ip адресами и vlan'ами, отключи все дропы тоже не проходит, пинг только до 10.200.5.1 идёт (
в логе такая строка идёт
"wg_to_esxi forward: in:vlan10 out:vlan50, connection-state:established src-mac 00:0c:29:c4:97:0a, proto TCP (ACK), 10.200.1.15:51782->10.200.5.4:443, len 40"

интересно почему WG из 10 vlan обращается к 50-му

[Юрий MikroTik]

Shady, адресация wg отличается от адресации в других вланах?

[Shady]

Юрий MikroTik, да, 10.200.10.*/24

[Юрий MikroTik]

Shady, NAT всё во всё не стоит? Чистая маршрутизация работает?

[Shady]

Юрий MikroTik, NAT без исключений настроен,

/ip firewall nat
add action=src-nat chain=srcnat dst-address=!10.200.0.0/16 out-interface-list=WAN src-address=10.200.0.0/16 to-addresses=*наш_ip*

[Юрий MikroTik]

Shady, wg allow лист указан?

[Shady]

Юрий MikroTik, это где можно посмотреть? не уверен

[Юрий MikroTik]

Shady, Peers Allowed Address

[Valentin Barbolin]

Shady, У тебя на компе есть маршрут в сеть ESXi?

[Юрий MikroTik]

Valentin Barbolin, шлюз той сети пингует, значит есть

[Shady]

Юрий MikroTik, настраивал по интернету Allowed IP 10.200.10.3/32 - как понял здесь указывается с каким ip хост придёт в сеть, если не верно понял или ввели в заблуждение, подскажите как правильно?
но повторюсь, ко всей сети фактически доступ есть и даже пингуется роутер этого подсети

В клиенте wg указываю 10.200.0.0/16 в allowed ips

[Юрий MikroTik]

Shady, проверь с 0.0.0.0/0
Если пустит - сужай

[Valentin Barbolin]

Shady, В allow address на микроте лучше прописать 0.0.0.0/0 и не тра...ся.

[Shady]

Valentin Barbolin, так и сделал, ничего не изменилось(

[Shady]

Юрий MikroTik, без результата

[Юрий MikroTik]

Shady, из других сетей нормально доступно, только из wg проблема?

[Valentin Barbolin]

Shady, Покажи /ip/route/print с микротика

[Shady]

Юрий MikroTik, ну у меня принцип настройки какой, 2 микрота hex s и crs326, crs в режиме l2 образно работает,
на нём на бридже анонсированы vlan10-50, транком соединён по оптике с hex s, где маршрутизируется трафик и поднят WireGuard, интернет подключен к нему. На HEX S анонсированы те же vlan что и на CRS.

Разделение доступа как раз на crs326 и организовано, на vlan назначены тегированные и нетегированные порты,
как раз vlan10 сервера, vlan50 менеджмент, оба этих нетегированные для одних и тех же физ.портов

[Valentin Barbolin]

Shady,

Разделение доступа как раз на crs326

Разделение доступа это firewall?

[Shady]

Valentin Barbolin, нет, выше описал через VLAN назначением "нетегированных портов"

[admin@SWCore] > /ip/route/print
Flags: D - DYNAMIC; A - ACTIVE; c - CONNECT, s - STATIC; + - ECMP
Columns: DST-ADDRESS, GATEWAY, DISTANCE
# DST-ADDRESS GATEWAY DISTANCE
0 As 0.0.0.0/0 наш_внешний_ip 1
DAc 10.200.1.0/24 vlan10 0
DAc 10.200.2.0/24 vlan20 0
DAc 10.200.3.0/24 vlan30 0
DAc 10.200.4.0/24 vlan40 0
DAc+ 10.200.5.0/24 vlan50 0
DAc+ 10.200.5.0/24 bridge 0
DAc 10.200.10.0/24 wireguard1 0
DAc наш_внешний_ip/24 ether1 0

[admin@SWAccess] > /ip/route/print
Flags: D - DYNAMIC; A - ACTIVE; c - CONNECT, d - DHCP; + - ECMP
Columns: DST-ADDRESS, GATEWAY, DISTANCE
DST-ADDRESS GATEWAY DISTANCE
DAd+ 0.0.0.0/0 10.200.5.1 1
DAc+ 10.200.5.0/24 bridge1 0
DAc+ 10.200.5.0/24 vlan50 0

[Valentin Barbolin]

Shady, Вопросов стало только больше

DAc+ 10.200.5.0/24 bridge1 0
DAc+ 10.200.5.0/24 vlan50 0

Зачем? если это не маршрутизатор

10.200.5.1 - 'это свич или роутер?

[Shady]

Valentin Barbolin, 5.1 это как раз Hex S роутер
Dac+ - как я понимаю динамически созданные маршруты

[Shady]

Вот расклад по VLAN

акцесного crs326

[admin@SWAccess] /interface/bridge/port> export
# 2025-02-27 17:33:57 by RouterOS 7.16.2
# software id = KUGA-74SA
#
# model = CRS326-24G-2S+
# serial number = HFC09F46QHG
/interface bridge port
add bridge=bridge1 comment="Trunk to SwCore" interface=sfp-sfpplus1 \
    internal-path-cost=10 path-cost=10 trusted=yes
add bridge=bridge1 comment=esxi_1 interface=ether1 internal-path-cost=10 \
    path-cost=10 pvid=10
add bridge=bridge1 comment="ESXI MGMT" interface=ether2 internal-path-cost=10 \
    path-cost=10 pvid=50
add bridge=bridge1 comment=esxi_3 interface=ether3 internal-path-cost=10 \
    path-cost=10 pvid=10
add bridge=bridge1 comment=iLo interface=ether4 internal-path-cost=10 \
    path-cost=10 pvid=50
add bridge=bridge1 comment="KKS Wifi" interface=ether9 internal-path-cost=10 \
    path-cost=10 pvid=20
add bridge=bridge1 comment=KKS interface=ether10 internal-path-cost=10 \
    path-cost=10 pvid=20
add bridge=bridge1 comment="Guest Wifi" interface=ether15 internal-path-cost=10 \
    path-cost=10 pvid=30
add bridge=bridge1 comment=Managment interface=ether17 internal-path-cost=10 \
    path-cost=10 pvid=50
add bridge=bridge1 comment="Private Wifi" interface=ether16 internal-path-cost=\
    10 path-cost=10 pvid=30
add bridge=bridge1 comment="Camera NRV" interface=ether19 internal-path-cost=10 \
    path-cost=10 pvid=40
add bridge=bridge1 comment="KKS Origo" interface=ether11 internal-path-cost=10 \
    path-cost=10 pvid=20

и ядро

[admin@SWCore] /interface/bridge/port> export
# 2025-02-27 17:36:33 by RouterOS 7.17rc3
# software id = CL3J-AXXV
#
# model = RB760iGS
# serial number = HGE09YBX0RP
/interface bridge port
add bridge=bridge comment=defconf disabled=yes interface=ether1
add bridge=bridge comment=defconf interface=ether2 pvid=20
add bridge=bridge comment=defconf interface=ether3 pvid=30
add bridge=bridge comment=defconf interface=ether4
add bridge=bridge comment="Managment Access Port" interface=ether5 pvid=50 trusted=yes
add bridge=bridge comment="Optical trunk port" interface=sfp1 trusted=yes

[Valentin Barbolin]

Shady, Помоему Dac+ это DynamicActiveConnect - маршрут создан потому что на этом устройсвет есть IP из этой сети. Возникают вопросы: почему этих маршрута два? неужели на одном устройстве на разных интерфейсах адреса из одной под сети назначены. Если это комутатор с ролью L2 то на нем максисму один адрес для управления должен быть.

Теперь начинаем думать, кто у нас GW для ESXi, на каком из устройств сети адрес GW, есть ли на этом устройстве маршрут в сеть VPN?

Ты лучше карту сети нарисуй с адресами.

[Shady]

Valentin Barbolin,

[Valentin Barbolin]

Shady,

mikrotik 10.200.5.1, а к ilo 5.2 и esxi 5.3 пинга нет, доступа

А на картинке у ESXi 5.4 - где правда?

[Shady]

Valentin Barbolin, опечатался, esxi 5.4, ilo 5.3
И вот по схеме я ко всем устройствам имею доступ кроме 5.3 и 5.4 во всей сети, в том числе подключаюсь к 5.1 самому микротику через winbox с удалённой машины

[Valentin Barbolin]

Shady, Возможно firewall на самом ESXi. Попробуй на HEX s сделать маскараз из сети VPN в сторону ESXi.

[Shady]

Valentin Barbolin, это получается src-nat из интерфейса wireguard в сторону интерфейса vlan50 action=маскарад?

[Shady]

Valentin Barbolin, Сделал по адресам source - wg, dest - vlan50, ничего не изменилось.
Обидно, когда был pfSense с openVPN всё работало..(

[Shady]

Valentin Barbolin, Юрий MikroTik, коллеги, нашёл проблему на поверхности, никто мне новичку не объяснил как в микротике устроено назначение ip адресов.
Дело в том, что у меня есть VLAN 50 с адресацией 10.200.5.1/24, а в самом начале на бридж как только начал настраивать железку я тоже назначил 10.200.5.1, в маршрутах естественно оказалось 2 адреса и какие-то сервера имели доступ к устройствам этой подсети, какие-нет, как и wireguard client'ы, убрал у бриджа этот адрес и всё сразу заработало.
Раз всё так прекрасно закончилось, объясните мне пожалуйста, как в семействе микротиков назначается непосредственно адрес самому микротику, чтобы при запуске винбокса я подключался к нему напрямую (не по мак адресу) а именно по ip, на какой интерфейс нужно назначить адрес?
И ещё более сложный вопрос, у меня же стэк из 2 микротиков, я хотел бы чтобы они и были в сети управления VLAN50, имели в нём какие-нибудь адреса типо 10.200.5.10 и 5.11 ?