Mikrotik: Как настроить правильно маршрутизацию?

Question

[Игорь]

Всем доброго времени суток.
Я почти выпустился из своей шараги и понял, что нихрена меня не научили. Чтобы набираться опыта и знаний, прикупил себе домой БУ сервак за копейки HP DL360 G7 и роутер от микротов hAP Lite. После восстановления сервера решил уже что-нибудь с ним сделать и сразу же появилась идея захостить сервер майна для игры с друзьями, разгрузив проц на моем компе. Накатил ESXi, поставил на виртуалку Debian, поднял сервер, всё работает, подключение с компа в локальной сети идет, всё хорошо. НО - подключения извне нет. Открыл порты в микроте серверу (настройки правильные 100%, ибо настраивал так же, как и компу, где всё, естественно, работает), но всё так же ничего не работает. Снёс ESXi и накатил дебиан уже напрямую и снова такая же беда. Порты через iptables открыл и на INPUT, и на OUTPUT, и даже зачем-то FORWARD. Но всё так же не работает. Так же попросил друга попытаться подключить по SSH по внешнему IP. Естественно ничего не получилось. Спустя какое-то время мытарства, до меня наконец-то дошло, что проблема в маршрутизации.

Собственно сам вопрос: Как настроить маршрутизацию на микроте так, чтобы компьютеры в сети сами разбирались к кому из них идёт запрос? По идее в микроте стоит по-умолчанию динамическая маршрутизация, но, судя по всему она либо не работает как надо, либо не включена вовсе. Важно: надо чтобы не все запросы шли по умолчанию на сервер, а комьютеры в сети разбирали запросы сами, ибо я на компе 1 держу открытым ФТП-сервер для быстрого обмена файлами с друзьями, малой на компе 2 себе что-то хостит иногда, а сервер будет держать сайт. Прошу не пинать за косноязычие, ибо учусь по факту заново, т.к. в шараге знаний получить не удалось.

Так же прикладываю схему моей локальной сети. Т.к. портов в микроте всего 4 и один из них под WAN, то есть некоторые сложности. Конкретно сейчас я могу напрямую в роутер тыкнуть сервер, но в будущем скорее всего придется ужиматься, чтобы подключить ещё одно устройство. Поэтому лучше сразу настроить под использование активного свитча в сети (собственно на схеме он имеется). Если играет роль - свитч trendnet te100-s5.



P.S. Желательно объяснять как чайнику в стиле "тыкни вот сюда, выбери вот это", поскольку с микротами я даже не на "Вы".

Comments

[Valentin Barbolin]

Давай посмотрим на настройки микротика, выполнил в консоли и давай сюда.
/ip firewall export

[Игорь]

# sep/29/2021 22:43:36 by RouterOS 6.44.5
# software id = HPD7-5M08
#
# model = RB941-2nD
# serial number = A1C30BC77780
/ip firewall filter
add action=accept chain=input comment="defconf: accept established,related,untracked" connection-state=established,related,untracked
add action=drop chain=input comment="defconf: drop invalid" connection-state=invalid
add action=accept chain=input comment="defconf: accept ICMP" protocol=icmp
add action=drop chain=input comment="defconf: drop all not coming from LAN" in-interface-list=!LAN
add action=accept chain=forward comment="defconf: accept in ipsec policy" ipsec-policy=in,ipsec
add action=accept chain=forward comment="defconf: accept out ipsec policy" ipsec-policy=out,ipsec
add action=fasttrack-connection chain=forward comment="defconf: fasttrack" connection-state=established,related
add action=accept chain=forward comment="defconf: accept established,related, untracked" connection-state=established,related,untracked
add action=drop chain=forward comment="defconf: drop invalid" connection-state=invalid
add action=drop chain=forward comment="defconf: drop all from WAN not DSTNATed" connection-nat-state=!dstnat connection-state=new in-interface-list=WAN
/ip firewall nat
add action=masquerade chain=srcnat comment="defconf: masquerade" ipsec-policy=out,none out-interface-list=WAN
add action=netmap chain=dstnat comment="Minecraft LAN" in-interface=all-ethernet log=yes log-prefix="mine\?" protocol=tcp to-addresses=192.168.88.223 to-ports=40000-65535
add action=netmap chain=dstnat comment="Server utils like SSH, FTP, etc." in-interface=all-ethernet log=yes log-prefix=secserver protocol=tcp to-addresses=192.168.88.156 to-ports=31150-31200
add action=netmap chain=dstnat comment=Server in-interface=all-ethernet protocol=tcp to-addresses=192.168.88.156 to-ports=40000-65535

192.168.88.156 - сервер
192.168.88.223 - PC1

[Александр Карабанов]

netmap для того чтобы сети мапить один в один, здесь оно не нужно достаточно dst-nat
to-ports не нужен если порты не меняются, а они не меняются

[Drno]

Игорь, уберите правило fasttrack.
правило проброса должно быть dst-nat, и указывается не all ethernet, а конкретно внешний IP, или 1 порт WAN. В Вашем случае, т.к. указан WAN LIST, на вкладке при пробросе можете указать не порт, а "in interface list" и выберите там WAN

С маршрутизацией у микротика все нормально. ПК не должны сами разбирать запросы, это делает маршрутизатор(роутер). Поэтому как куда пробросите порт - так работать и будет)

свитч у вас обычный "тупой", поэтому на схему не влияет

[Игорь]

Drno, спасибо за ответ. В данный момент провёл команды, написанные Александр Карабанов , вашим словам они, вроде как, не противоречат. Касательно правила fasttrack: я понятия не имею как его убрать. На Q&A есть вопрос, как его отключить и там сказано, что глобально его отключить нельзя, нужно найти к какой именно опции он привязан и отключать вручную с перезагрузкой роутера. А я в дебрях микротика, естественно, не разберусь.

Александр Карабанов, обычно я открываю и TCP, и UDP, но для работы сервера на ПК хватало и TCP, потому ставил только его. На всякий случай открыл сейчас и UDP.

И ты уверен, что порты именно 40000-65535?

Порт настраивается вручную. конкретно у меня 53115. Так же все настройки ПО сервера, которые подразумевают вход из внешней сети, я тоже вешаю внутри этого радиуса, так как могу дать им "говорящие" номера и проще будет их запомнить.

Спасибо за помощь, правила установил, завтра протестирую.

[Александр Карабанов]

Не мешает оно. Но если очень хочется вылючить, то выдели правило и нажми в Winbox крестик слева сверху. Правило стает серым.
Что бы и dummy rules исчезли перезапусти роутер по питанию.

[Игорь]

Drno, только что протестировал. Всё ещё не работает. На всякий случай прикладываю скрин открытых портов из линя. Сейчас используется порт 53115 (т.е. в радиусе 40000-65535).


UPD: Утилита NMAP не может просканировать порты.

А вот как должно выглядеть:


UPD2: при обращении к локальному IP говорит, что открыт нужный мне порт.

[Drno]

Игорь, ip>firewall>filter rules. просто disable на правило fasttrack и ребутните микротик. всё....

nmap ваш внешний IP и не просканит... открытые порты можно проверить например на сайте 2ip.ru... на порту должен быть запущен какой нить сервис

[Игорь]

Drno, Всё так же.

[Drno]

Игорь, вот как у меня выглядит правило проброса порта
add action=dst-nat chain=dstnat comment=OpenVPN dst-address=внешнйиIP dst-port=10000 protocol=tcp to-addresses=192.168.88.2 to-ports=10000

[Игорь]

Drno, Попробовал и ваш вариант. Всё ещё глухо. Мне кажется беда совсем не в портах, ибо даже старые настройки вполне работали для PC1. То есть хостил с ПК и всё работало, все могли подключаться.

[Александр Карабанов]

Из локалки ты не сможешь подключиться через внешний IP. Для этого нужно настраивать Hairpin NAT. Так что из LAN что-то проверять бесполезно.

FastTrack не имеет смысла выключать он тут не причём.

[Александр Карабанов]

Выполни на сервере и покажи вывод команд:
sudo iptables-legacy -S
sudo iptables-nft -S
sudo iptables-legacy -t nat -S
sudo iptables-nft -t nat -S
ip a
ip r
ping -c1 8.8.8.8
curl ident.me

[Drno]

Игорь, я надеюсь Вы не из локалки пытаетесь на внешний IP подключиться?) для проверки...
тупо в линукс отключите фаервол вообще

Проверьте открыт ли порт на сайте 2ip.ru. там когда пойдет запрос, в фаерволе микротика должен меняться счетчик пакетов, в большую сторону... если меняется - с правилом ок, вопрос к линуксу

[Александр Карабанов]

Проверить доступен ли TCP порт c Mikrotika можно так /system telnet 192.168.88.156 53115

[Игорь]

Александр Карабанов,

[Александр Карабанов]

Зачем ты текст прикрепляешь в виде картники?

[Александр Карабанов]

~$ nc -zv 128.74.168.163 53115
nc: connect to 128.74.168.163 port 53115 (tcp) failed: Connection refused

Закрыто фаирволом.

[Игорь]

Александр Карабанов, Drno, нет, я не пытаюсь коннектится из локалки по внешнему IP. Всё таки я необразованный, а не тупой) Я просто каждый раз прошу подключится друга.

Проверьте открыт ли порт на сайте 2ip.ru. там когда пойдет запрос, в фаерволе микротика должен меняться счетчик пакетов, в большую сторону... если меняется - с правилом ок, вопрос к линуксу

Я открыл два правила с одинаковыми настройками, но с разным IP. Первый это ПК и у него есть скачки, второй же сервер и у него ни-че-го.

[Игорь]

Александр Карабанов,

Зачем ты текст прикрепляешь в виде картники?

Прошу прощения, забыл как копировать из PuTTy.

Закрыто фаирволом.

Весьма странно, ведь он по-умолчанию пропускает весь траффик. Получается он не пропускает траффик ни до, ни после настроек разрешений. Спасибо, буду копать в эту сторону.

[Александр Карабанов]

И какие это правила? Только пожалуйста текстом, а не картинкой.

И да, твой IP 128.74.168.163, что там на скриншотах за попытка проверять 185.29.237.91 непонятно.

[Игорь]

Александр Карабанов,

И да, твой IP 128.74.168.163, что там на скриншотах за попытка проверять 185.29.237.91 непонятно.

Это скриншот-пример из инета.

И какие это правила? Только пожалуйста текстом, а не картинкой.

Те же, что и на скрине. На данный момент я вообще выпилил iptables, сейчас буду тестировать. UFW не ставил.

INPUT -p tcp -m tcp --dport 40000:65535 -j ACCEPT
INPUT -p udp -m udp --dport 40000:65535 -j ACCEPT
OUTPUT -p tcp -m tcp --dport 40000:65535 -j ACCEPT
OUTPUT -p udp -m udp --dport 40000:65535 -j ACCEPT

UPD: Проверил, всё ещё не фурычит, порты закрыты. Хотя дебиану уже нечем их закрывать. Проблема всё таки на стороне микрота.

[Александр Карабанов]

Эти правила не имеют смысла, у тебя и так нет запрета на прохождение трафика. Фактически фаирвол не настроен на сервере...

В прочем это не важно у тебя в локалке нет препятствий для прохождения трафика (если ты с умыслом, намеренно не искажал информацию, которую у тебя просили предоставить и все картинки с текстом правдивы).

Моё подозрение - ты за NAT провайдера. Покажи /ip address export с MikroTIK и мы это выясним точно.

[Александр Карабанов]

И ещё /ip address print чтоб наверняка.

[Игорь]

Александр Карабанов, Всё предоставлено в виде "как есть", без каких-либо изменений.

# oct/02/2021 19:30:26 by RouterOS 6.44.5
# software id = HPD7-5M08
#
# model = RB941-2nD
# serial number = A1C30BC77780
/ip address
add address=192.168.88.1/24 comment=defconf interface=ether2 network=\
    192.168.88.0

[admin@MikroTik] > /ip address print
Flags: X - disabled, I - invalid, D - dynamic 
 #   ADDRESS            NETWORK         INTERFACE                               
 0   ;;; defconf
     192.168.88.1/24    192.168.88.0    ether2                                  
 1 D 128.74.168.163/21  128.74.168.0    ether1

[Александр Карабанов]

Всё в порядке. На твоей стороне проблем нет (если вся информация, которую ты публиковал верна).

[Игорь]

Александр Карабанов, Тогда я не понимаю, в чём проблема. Только что проверял - идентичные настройки для ПК и для сервера (IP разный, естественно). Хостую на ПК - всё работает, хостую на сервере - не работает. Причём игра выдает типичную для закрытых портов ошибку.

[Александр Карабанов]

Проверить доступен ли TCP порт c Mikrotika можно так /system telnet 192.168.88.156 53115

[Александр Карабанов]

Вот такие порты доступны:

~$ sudo nmap -sT -p- 128.74.168.163
PORT      STATE SERVICE
49664/tcp open  unknown
49665/tcp open  unknown
49666/tcp open  unknown
49667/tcp open  unknown
49671/tcp open  unknown
49677/tcp open  unknown
49678/tcp open  unknown
54288/tcp open  unknown
54333/tcp open  unknown

Ты уверен, что приложение на сервере слушает порт 53115, а не какой-то из этого списка?

Ты уверен, что праило NAT для проброса порта на компьютер ничем кроме IP не отличается от правила дл проброса порта на сервер?

Там, в интерфейсе WinBox, есть кнопка копировать, попробоуй скопировать правило которым ты натишь для компьютера и заменит там IP компьютера на IP сервера.

PS
И да, используй WinBox или консоль. Web интерфейс MikroTIK запутанный - легко ошибиться или не заметить что либо важное.

[Игорь]

Александр Карабанов,

Ты уверен, что праило NAT для проброса порта на компьютер ничем кроме IP не отличается от правила дл проброса порта на сервер?

Да, я в терминале вводил ваши команды для создания правила и просто поменял IP. Они идентичны 100%.

Ты уверен, что приложение на сервере слушает порт 53115, а не какой-то из этого списка?

Уверен. Проверял открытые порты разными утилитами и дебиан сообщал, что 53115 слушает Java, то есть сервер майна.

И да, используй WinBox или консоль.

Уже. Просто графики было проще найти в вебе.

Проверить доступен ли TCP порт c Mikrotika можно так

Уже проверял.

[admin@MikroTik] > /system telnet 192.168.88.156 53115
Trying 192.168.88.156...
Connected to 192.168.88.156.
Escape character is '^]'.
Connection closed by foreign host.

[Александр Карабанов]

Покажи текущее состояние /ip firewall nat export

[Игорь]

Александр Карабанов,

add action=masquerade chain=srcnat comment="defconf: masquerade" disabled=yes \
    ipsec-policy=out,none out-interface-list=WAN
add action=netmap chain=dstnat comment="Minecraft LAN" disabled=yes \
    in-interface=all-ethernet log=yes log-prefix="mine\?" protocol=tcp \
    to-addresses=192.168.88.223 to-ports=40000-65535
add action=netmap chain=dstnat comment="Server utils like SSH, FTP, etc." \
    disabled=yes in-interface=all-ethernet log=yes log-prefix=secserver \
    protocol=tcp to-addresses=192.168.88.156 to-ports=31150-31200
add action=dst-nat chain=dstnat comment=Server disabled=yes in-interface=\
    ether1 protocol=tcp to-addresses=192.168.88.156 to-ports=40000-65535
add action=masquerade chain=srcnat comment="defconf: masquerade" ipsec-policy=\
    out,none out-interface-list=WAN
add action=dst-nat chain=dstnat comment="Minecraft LAN" dst-port=40000-65535 \
    in-interface-list=WAN log=yes log-prefix="mine\?" protocol=tcp \
    to-addresses=192.168.88.223
add action=dst-nat chain=dstnat comment="Server utils like SSH, FTP, etc." \
    dst-port=31150-31200 in-interface-list=WAN log=yes log-prefix=secserver \
    protocol=tcp to-addresses=192.168.88.156
add action=dst-nat chain=dstnat comment=Server dst-port=40000-65535 \
    in-interface-list=WAN log=yes log-prefix=server protocol=tcp to-addresses=\
    192.168.88.1
add action=dst-nat chain=dstnat comment="Server UDP" dst-port=40000-65535 \
    in-interface-list=WAN protocol=udp to-addresses=192.168.88.156
add action=dst-nat chain=dstnat comment=Server_test dst-address=128.74.168.163 \
    dst-port=53115 protocol=tcp to-addresses=192.168.88.156 to-ports=53115

[Александр Карабанов]

А ну понятно почему срабатывает только первое правило.

И в первом и во втором правиле dst-port=40000-65535, при нахождение совпадения дальнейшая обработка не производится.

Укажи конкретные порты, либо используй разные не пересекающиеся диапазоны портов если нужны именно диапазоны.

[Игорь]

Александр Карабанов, Всё ещё жалуется на закрытые порты, хоть я и оставил включенными лишь два правила на один и тот же порт по двум разным протоколам.

add action=masquerade chain=srcnat comment="defconf: masquerade" disabled=yes \
    ipsec-policy=out,none out-interface-list=WAN
add action=netmap chain=dstnat comment="Minecraft LAN" disabled=yes \
    in-interface=all-ethernet log=yes log-prefix="mine\?" protocol=tcp \
    to-addresses=192.168.88.223 to-ports=40000-65535
add action=netmap chain=dstnat comment="Server utils like SSH, FTP, etc." \
    disabled=yes in-interface=all-ethernet log=yes log-prefix=secserver \
    protocol=tcp to-addresses=192.168.88.156 to-ports=31150-31200
add action=dst-nat chain=dstnat comment=Server disabled=yes in-interface=\
    ether1 protocol=tcp to-addresses=192.168.88.156 to-ports=40000-65535
add action=masquerade chain=srcnat comment="defconf: masquerade" ipsec-policy=\
    out,none out-interface-list=WAN
add action=dst-nat chain=dstnat comment="Minecraft LAN" disabled=yes dst-port=\
    40000-65535 in-interface-list=WAN log=yes log-prefix="mine\?" protocol=tcp \
    to-addresses=192.168.88.223
add action=dst-nat chain=dstnat comment="Server utils like SSH, FTP, etc." \
    disabled=yes dst-port=31150-31200 in-interface-list=WAN log=yes \
    log-prefix=secserver protocol=tcp to-addresses=192.168.88.156
add action=dst-nat chain=dstnat comment="Server Mine" dst-port=53115 \
    in-interface-list=WAN log=yes log-prefix=server protocol=tcp to-addresses=\
    192.168.88.1
add action=dst-nat chain=dstnat comment="Server Mine UDP" dst-port=53115 \
    in-interface-list=WAN protocol=udp to-addresses=192.168.88.156

[Александр Карабанов]

to-addresses=192.168.88.1 - это не имеет смысла. Должно быть to-addresses=192.168.88.156

И ты ведь показывал, что порт там TCP, значит правило с UDP тоже лишнее.

[Игорь]

Александр Карабанов, Мой косяк, не заметил опечатки. Но всё ещё не работает)

add action=masquerade chain=srcnat comment="defconf: masquerade" disabled=yes \
    ipsec-policy=out,none out-interface-list=WAN
add action=netmap chain=dstnat comment="Minecraft LAN" disabled=yes \
    in-interface=all-ethernet log=yes log-prefix="mine\?" protocol=tcp \
    to-addresses=192.168.88.223 to-ports=40000-65535
add action=netmap chain=dstnat comment="Server utils like SSH, FTP, etc." \
    disabled=yes in-interface=all-ethernet log=yes log-prefix=secserver \
    protocol=tcp to-addresses=192.168.88.156 to-ports=31150-31200
add action=dst-nat chain=dstnat comment=Server disabled=yes in-interface=\
    ether1 protocol=tcp to-addresses=192.168.88.156 to-ports=40000-65535
add action=masquerade chain=srcnat comment="defconf: masquerade" ipsec-policy=\
    out,none out-interface-list=WAN
add action=dst-nat chain=dstnat comment="Minecraft LAN" disabled=yes dst-port=\
    40000-65535 in-interface-list=WAN log=yes log-prefix="mine\?" protocol=tcp \
    to-addresses=192.168.88.223
add action=dst-nat chain=dstnat comment="Server utils like SSH, FTP, etc." \
    disabled=yes dst-port=31150-31200 in-interface-list=WAN log=yes \
    log-prefix=secserver protocol=tcp to-addresses=192.168.88.156
add action=dst-nat chain=dstnat comment="Server Mine" dst-port=53115 \
    in-interface-list=WAN log=yes log-prefix=server protocol=tcp to-addresses=\
    192.168.88.156

[Александр Карабанов]

Я видел успех:

~$ nc -w 1 -zv 128.74.168.163 53115
Connection to 128.74.168.163 53115 port [tcp/*] succeeded!

В какой-то момент конфигурация была рабочей. Что-то ты ещё упустил.

[Игорь]

Александр Карабанов, Ещё я залез в логи и вижу вот такую информацию

server dstnat: in:ether1 out:(unknown 0), src-mac a4:a1:c2:28:65:3b, proto TCP (SYN), 178.140.41.110:63927->128.74.168.163:53115, len 52

Может скажет что-нибудь. 178.140.41.110 - IP друга.

[Александр Карабанов]

Правило срабатывает, раз записи в логе стали появляться.
Сервер-то запущен? Ты на самом сервере ничего не менял в настройках фаирвола?

[Игорь]

Александр Карабанов, Не менял. Более того, сам фаервол удален к чертям собачим.
На счёт логов не уверен, я в принципе впервые в них влез после ребута, а он был час назад.

[Александр Карабанов]

Можт в конфиге приложения есть какие-то ограничения...

[Игорь]

Писал тут сообщение, но всё резко заработало. Вот так, просто взяло и заработало. Я даже "лишние" правила включил обратно и всё работает. Завтра-послезавтра переустановлю дебиан (ибо я там от безысходности насрал конкретно), поставлю сервер заново и, если всё будет дальше работать, закрою тикет. Спасибо всем за помощь, в особенности вам, Александр Карабанов .

[Александр Карабанов]

Чисти ConnTrack когда видишь спецэффекты. У MikroTIK это вкладка "Connections".

Под правило NAT попадает только первый пакет. Дальше правило даже можно отключить, трафик продолжит ходить пока соединение не будет закрыто или удалено из ConnTrack.

[Александр Карабанов]

У тебя там было правило с ошибкой с to-addresses=192.168.88.1

Правило сработало, в ConnTrack добавилась запись и всё это время отвечал сам MikroTIK. Потом таймаут истёк или ты перезагрузил MikroTIK или ещё что-то произошло, соединение удалилось из ConnTrack и всё заработало, как ожидается. Такая у меня гипотеза...

Таймаут можно настраивать. В частности здесь рассказываеют, как https://www.youtube.com/watch?v=wGDTWaDL8jc

Презентация

Answer 1

[Александр Карабанов]

Для начала, что бы это всё заработало нужен белый IP.

Правила будут такими:

/ip firewall nat
add action=masquerade chain=srcnat comment="defconf: masquerade" ipsec-policy=out,none out-interface-list=WAN
add action=dst-nat chain=dstnat comment="Minecraft LAN" in-interface-list=WAN log=yes log-prefix="mine\?" protocol=tcp to-addresses=192.168.88.223 dst-port=40000-65535
add action=dst-nat chain=dstnat comment="Server utils like SSH, FTP, etc." in-interface-list=WAN log=yes log-prefix=secserver protocol=tcp to-addresses=192.168.88.156 dst-port=31150-31200
add action=dst-nat chain=dstnat comment=Server in-interface-list=WAN protocol=tcp to-addresses=192.168.88.156 dst-port=40000-65535

И ты уверен, что трафик этой игры TCP? Должен быть UDP иначе в чём смысл?
И ты уверен, что порты именно 40000-65535?

И ещё, если всё вышесказанное про порты и протоколы верно (едва ли), и ты захочешь подключиться к игровому серверу по внешнему IP из LAN то ничего не выйдет, так как надо будет дополнительно настроить Hairpin NAT

PS

Желательно объяснять как чайнику в стиле "тыкни вот сюда, выбери вот это", поскольку с микротами я даже не на "Вы".

Во https://help.mikrotik.com/docs

Comments

[Игорь]

и ты захочешь подключиться к игровому серверу по внешнему IP из LAN то ничего не выйдет

Я правильно понял, что Вы имели ввиду подключение к серверу из локальной сети через внешний IP? Если да, то зачем? Для коннекта с компьютера в локальной сети мне достаточно локального IP сервера.

[Александр Карабанов]

Ты проверял из локалки работоспособность. Я был уверен, что ты так будешь делать и сыграл на опережение.
Так проверить не получиться, надо проверять откуда-то из вне. Либо настроить Hairpin NAT.

[Талян]

Игорь, тут в соседней теме как раз парень openserver настраивал, и заходил на него из локалки по внешнему IP ) так что Александр не зря на опережение написал