Как настроить маршрутиризацию между двумя VLAN на одном Mikrotik?

Question

[Руслан Егоров]

Задача очень объемная - Все отделы на нескольких удаленных объекта разбить на несколько VLAN и настроить маршрутиризацию между ними.
Никогда не работал и не поднимал VLAN, пользовался широкой маской /12
Начал проектировать и решил протестировать на одном Mikrotik RB2011UiAS два VLAN, тут и начались не понятки.
Данный Mikrotik рабочий и служит шлюзом для двух подсетей и с настриенным тунелем, решил настроить свободный порт под два VLAN и подключил к VMWare ESXi 6 серверу на котором один физический порт разбил на два VLAN с соответсвующими id, как нарисовано на схеме:

Настройки на самом VMWare ESXi:

Конфигурация Mikrotik:
interface:

Flags: D - dynamic, X - disabled, R - running, S - slave 
 #     NAME                                TYPE       ACTUAL-MTU L2MTU  M
 0  R  ;;; WAN IP 
       eth1-WAN                            ether            1500  1598   
 1  R  ;;; LOCAL AREA
       eth2-LOCAL                          ether            1500  1598   
 2     eth3                                ether            1500  1598   
 3     eth4                                ether            1500  1598   
 4     eth5                                ether            1500  1598   
 5     eth6                                ether            1500  1598   
 6  RS ;;; VLAN (100,69)
       eth7-LOCAL-VLANs                    ether            1500  1598   
 7     eth8                                ether            1500  1598   
 8     eth9                                ether            1500  1598   
 9     eth10                               ether            1500  1598   
10     sfp1                                ether            1500  1598   
11  R  BRIDGE-VLAN                         bridge           1500  1598
12  R  VLAN69                              vlan             1500  1594
13  R  VLAN100                             vlan             1500  1594
14  R  gre-tunnel1                         gre-tunnel       1476 65535

Interface vlan:

Flags: X - disabled, R - running, S - slave 
 #    NAME                          MTU ARP        VLAN-ID INTERFACE                      
 0 R  VLAN69                       1500 enabled         69 BRIDGE-VLAN                    
 1 R  VLAN100                      1500 enabled        100 BRIDGE-VLAN

Interface bridge:

Flags: X - disabled, R - running 
 0  R name="BRIDGE-VLAN" mtu=auto actual-mtu=1500 l2mtu=1598 arp=enabled 
      mac-address=4C:5E:0C:6F:BC:4B protocol-mode=rstp priority=0x8000 auto-mac=yes 
      admin-mac=00:00:00:00:00:00 max-message-age=20s forward-delay=15s 
      transmit-hold-count=6 ageing-time=5m

interface bridge port:

Flags: X - disabled, I - inactive, D - dynamic 
 #    INTERFACE                    BRIDGE                   PRIORITY  PATH-COST    HORIZON
 0 I  eth2-LOCAL                   *14                          0x80         10       none
 1 I  eth1-WAN                     *14                          0x80         10       none
 2    eth7-LOCAL-VLANs             BRIDGE-VLAN                  0x80         10       none

ip address:

Flags: X - disabled, I - invalid, D - dynamic 
 #   ADDRESS            NETWORK         INTERFACE                                         
 0   x.x.x.x/20    x.x.x.0     eth1-WAN                                          
 1   x.x.x.x/12  x.x.0.0      eth2-LOCAL                                        
 2   x.x.x.x/30      x.x.x.0      gre-tunnel1                                       
 3   192.168.100.1/24   192.168.100.0   VLAN100                                           
 4   192.168.69.1/24    192.168.69.0    VLAN69

ip dhcp-server:

Flags: X - disabled, I - invalid 
 #   NAME          INTERFACE        RELAY           ADDRESS-POOL        LEASE-TIME ADD-ARP
 0   DHCP VLAN100  VLAN100                          POOL VLAN100        3d        
 1   DHCP VLAN69   VLAN69                           POOL VLAN69         3d

ip pool:

# NAME                                                    RANGES                         
 0 POOL VLAN100                                            192.168.100.100-192.168.100.200
 1 POOL VLAN69                                             192.168.69.100-192.168.69.200

ip routes:

Flags: X - disabled, A - active, D - dynamic, 
C - connect, S - static, r - rip, b - bgp, o - ospf, m - mme, 
B - blackhole, U - unreachable, P - prohibit 
 #      DST-ADDRESS        PREF-SRC        GATEWAY            DISTANCE
 0 A S  0.0.0.0/0                          x.x.x.x               1
 1 ADC  x.x.x.0/20     x.x.x.x    eth1-WAN                  0
 2 ADC  x.x.0.0/12      x.x.x.x  eth2-LOCAL                0
 3 ADC  x.x.x.0/30      x.x.x.x      gre-tunnel1               0
 4 ADC  192.168.69.0/24    192.168.69.1    VLAN69                    0
 5 ADC  192.168.100.0/24   192.168.100.1   VLAN100                   0
 6 A S  x.x.x.0/20                   x.x.x.x                1

Все вроде бы работает. OS1 и OS2 получили согласно своим VLAN ip адреса по DHCP, выход в интернет есть, но они не пингуют друг друга.
Понимаю, что необходимо настроить в ip firewall nat правило, но что бы я не делал, все равно не пингуется, прочел не мало мануалов.
Подскажите пожалуйста, куда смотреть, либо у меня изначально не правильно!!!

P.S.: Заранее благодарю! И не судите строго )))

Comments

[Maksim]

На*уя нат - не надо.
и где правила фаерволла может вы сами режете соединения

Answer 1

[Vladimir Zhurkin]

Уж больно знакомые грабли.

>Все вроде бы работает. OS1 и OS2 получили согласно своим VLAN ip адреса по DHCP, выход в интернет есть, но они не пингуют друг друга.

Ощущение, что пакеты дропаются, так как считаются , что они не для этой сети.

Если ответ на текущий пакет не может уйти через тот же интерфейс (когда
приходит через один интерфейс, а уходит через другой), пакет отфильтровывается.

Посмотреть есть ли ip_forward,
rp_filter

wiki.mikrotik.com/wiki/Manual:IP/Settings

Я бы попробовал бы поснифирить пакеты и посмотреть, что происходит и где затык.

Comments

[Руслан Егоров]

ip-forward: yes
send-redirects: yes
accept-source-route: no
accept-redirects: no
secure-redirects: yes
rp-filter: no
tcp-syncookies: no
max-arp-entries: 8192
arp-timeout: 30s
icmp-rate-limit: 10
icmp-rate-mask: 0x1818
route-cache: yes
allow-fast-path: yes
ipv4-fast-path-active: no
ipv4-fast-path-packets: 0
ipv4-fast-path-bytes: 0
ipv4-fasttrack-active: no
ipv4-fasttrack-packets: 0
ipv4-fasttrack-bytes: 0

[Vladimir Zhurkin]

Руслан Егоров: rp-filter yes сделайте.

[Vladimir Zhurkin]

Vladimir Zhurkin: и да,nat для vlan не нужен.

[Руслан Егоров]

Сделал
rp-filter strict
Оставил NAT для работающей подсети:

;;; -=МАСКАРАД=-
      chain=srcnat action=masquerade src-address=x.x.0.0/12 
      out-interface=eth1-WAN log=no log-prefix=""

Почему не нужен? Я собираюсь все разделить на VLAN. Как же будет без NAT?

[Vladimir Zhurkin]

Руслан Егоров: между vlan NAT не нужен, нужен только роутинг. Для тестов я бы сделал анализ пакетов, например ICMP , что бы посмотреть что вообще с ними происходят и где они рубятся. Вот тут пример настройки wiki.leonchik.ru/doku.php?id=mikrotik:tcpdump-on-m...

[Руслан Егоров]

Vladimir Zhurkin: Настроил согласно мануалу. Wireshark установлен на OS2 получает данные с микротика при включенном снифере на Микротике. При этом OS2 пингует OS1 и вот что я выделил:

493805	975.613960	192.168.69.200	192.168.100.198	ICMP	121	Echo (ping) request  id=0x0001, seq=311/14081, ttl=128 (no response found!)

[Руслан Егоров]

Vladimir Zhurkin: Может и в правду проблема в Firewall filter:

Flags: X - disabled, I - invalid, D - dynamic 
 0    ;;; TO_xxxxxx_WINBOX_from_HOME
      chain=input action=accept protocol=tcp src-address=x.x.x.x 
      in-interface=eth1-WAN dst-port=xxxx log=no log-prefix="" 

 1    ;;; TO_PDC
      chain=input action=accept protocol=tcp in-interface=eth1-WAN 
      dst-port=xxxxx log=no log-prefix="" 

 2    ;;; TO_MAIL_SSH
      chain=input action=accept protocol=tcp in-interface=eth1-WAN 
      dst-port=xxxxx log=no log-prefix="" 

 3    ;;; TO_WEB_SSH
      chain=input action=accept protocol=tcp in-interface=eth1-WAN 
      dst-port=xxxxx log=no log-prefix="" 

 4    ;;; TO_BASE_SSH
      chain=input action=accept protocol=tcp in-interface=eth1-WAN 
      dst-port=xxxxx log=no log-prefix="" 

 5    ;;; allow established connection
      chain=forward action=accept log=no log-prefix="" 

 6    ;;; allow established connection
      chain=forward action=accept connection-state=established log=no 
      log-prefix="" 

 7    ;;; allow related connection
      chain=forward action=accept connection-state=related log=no log-prefix="" 

 8    ;;; drop invalid connection
      chain=forward action=drop connection-state=invalid log=no log-prefix="" 

 9    ;;; DROP_TELNET_23
      chain=input action=drop protocol=tcp in-interface=eth1-WAN dst-port=23 
      log=no log-prefix="ddos" 

10    ;;; DROP_WINBOX_8291
      chain=input action=drop protocol=tcp in-interface=eth1-WAN dst-port=8291 
      log=no log-prefix="ddos" 

11    ;;; DROP_SSH_22
      chain=input action=drop protocol=tcp in-interface=eth1-WAN dst-port=22 
      log=no log-prefix="ddos" 

12    ;;; Drop Blaster Worm
      chain=virus action=drop protocol=tcp dst-port=135-139 log=no 
      log-prefix="" 

13    ;;; Drop Messenger Worm
      chain=virus action=drop protocol=udp dst-port=135-139 log=no 
      log-prefix="" 

14    ;;; Drop Blaster Worm
      chain=virus action=drop protocol=tcp dst-port=445 log=no log-prefix="" 

15    ;;; Drop Blaster Worm
      chain=virus action=drop protocol=udp dst-port=445 log=no log-prefix="" 

16    ;;; ________
      chain=virus action=drop protocol=tcp dst-port=593 log=no log-prefix="" 

17    ;;; ________
      chain=virus action=drop protocol=tcp dst-port=1024-1030 log=no 
      log-prefix="" 

18    ;;; Drop MyDoom
      chain=virus action=drop protocol=tcp dst-port=1080 log=no log-prefix="" 

19    ;;; ________
      chain=virus action=drop protocol=tcp dst-port=1214 log=no log-prefix="" 

20    ;;; ndm requester
      chain=virus action=drop protocol=tcp dst-port=1363 log=no log-prefix="" 

21    ;;; ndm server
      chain=virus action=drop protocol=tcp dst-port=1364 log=no log-prefix="" 

22    ;;; screen cast
      chain=virus action=drop protocol=tcp dst-port=1368 log=no log-prefix="" 

23    ;;; hromgrafx
      chain=virus action=drop protocol=tcp dst-port=1373 log=no log-prefix="" 

24    ;;; cichlid
      chain=virus action=drop protocol=tcp dst-port=1377 log=no log-prefix="" 

25    ;;; Worm
      chain=virus action=drop protocol=tcp dst-port=1433-1434 log=no 
      log-prefix="" 

26    ;;; Bagle Virus
      chain=virus action=drop protocol=tcp dst-port=2745 log=no log-prefix="" 

27    ;;; Drop Dumaru.Y
      chain=virus action=drop protocol=tcp dst-port=2283 log=no log-prefix="" 

28    ;;; Drop Beagle
      chain=virus action=drop protocol=tcp dst-port=2535 log=no log-prefix="" 

29    ;;; Drop Beagle.C-K
      chain=virus action=drop protocol=tcp dst-port=2745 log=no log-prefix="" 

30    ;;; Drop MyDoom
      chain=virus action=drop protocol=tcp dst-port=3127-3128 log=no 
      log-prefix="" 

31    ;;; Drop Backdoor OptixPro
      chain=virus action=drop protocol=tcp dst-port=3410 log=no log-prefix="" 

32    ;;; Worm
      chain=virus action=drop protocol=tcp dst-port=4444 log=no log-prefix="" 

33    ;;; Worm
      chain=virus action=drop protocol=udp dst-port=4444 log=no log-prefix="" 

34    ;;; Drop Sasser
      chain=virus action=drop protocol=tcp dst-port=5554 log=no log-prefix="" 

35    ;;; Drop Beagle.B
      chain=virus action=drop protocol=tcp dst-port=8866 log=no log-prefix="" 

36    ;;; Drop Dabber.A-B
      chain=virus action=drop protocol=tcp dst-port=9898 log=no log-prefix="" 

37    ;;; Drop Dumaru.Y
      chain=virus action=drop protocol=tcp dst-port=10000 log=no log-prefix="" 

38    ;;; Drop MyDoom.B
      chain=virus action=drop protocol=tcp dst-port=10080 log=no log-prefix="" 

39    ;;; Drop NetBus
      chain=virus action=drop protocol=tcp dst-port=12345 log=no log-prefix="" 

40    ;;; Drop Kuang2
      chain=virus action=drop protocol=tcp dst-port=17300 log=no log-prefix="" 

41    ;;; Drop SubSeven
      chain=virus action=drop protocol=tcp dst-port=27374 log=no log-prefix="" 

42    ;;; Drop PhatBot, Agobot, Gaobot
      chain=virus action=drop protocol=tcp dst-port=65506 log=no log-prefix="" 

43    ;;; jump to the virus chain
      chain=forward action=jump jump-target=virus log=no 
      log-prefix="jump to virus list"

Если выключить все DROP и JUMP, а оставить только forwarding, то все равно не пингуется.

[Vladimir Zhurkin]

Руслан Егоров: rp_filter loose. Еще раз ситуация как мне кажется вот какая. Пакет приходит на один интерфейс и пытается уйти с другого. сделайте пинг с OS2 на OS1 и смотрите полную цыпочку прохождения. На os1 я бы поставил снифер, что бы понять пришел туда вообще запрос. (в linux можно собрать tcpdump).
В итоге собираем данные с microtik, собираем данные с одной из машине куда должны прийти пакеты. Что бы не собирать все, фильтруем по ICMP.

[Руслан Егоров]

Vladimir Zhurkin: Владимир, заранее Благодарю за помощь!!! ))) Вы очень мне помогаете.
Сейчас на виртуалке подниму 2 Debian(а) и посмотрю что получается. Сейчас на одном стоит Win10, а на другом WSrvStd2012r2.

[Vladimir Zhurkin]

Руслан Егоров: ну вы можете поднять еще по две машины с win10 для тестов. rp_filter loose, как раз отключит проверку прохождения пакетов. По хорошему надо бы его будет сделать только для этих интерфейсов. Но настройку микротика я знаю очень поверхностно.

[Руслан Егоров]

Vladimir Zhurkin: Как так? @#$% одни эмоции!!!
Решение нашел - отключил брандмауэр на двух осях и все пинги пошли.
Такое в широковещательном домене не нужно делать, пинги ходят и со включенным брандмауэре.
*face_palm* вот я тупил ))) Буду разбираться с брандмауэром.

[Vladimir Zhurkin]

Руслан Егоров: Я хотел об этом написать :) но подумал, что это очевидно проверить. Правила в win зависят от сети которую вы указали, в домене вроде как по default блокируется.

[Руслан Егоров]

Vladimir Zhurkin: Прикол в том что у меня есть две подсети /12 и /20, они видят друг друга через туннель GRE настроенный на 2-ух Микротиках, на всех машинах настроен и включен брандмауэр на некоторых с некоторыми изменениями. Но все они могут пинговаться из двух этих сетей, пинги по умолчанию в брандмауэре не блокируются. Видимо причина все же в VLAN в теггировании пакетов. Буду разбираться и проверять все протоколы.
Еще раз спасибо за помощь! Вы один из немногих адекватных помощников )))

[Vladimir Zhurkin]

Руслан Егоров: Когда вы настроили vlan, для машин это новая сеть. И она может быть guest если вы не ответили иначе. В guest пинги запрещены. Посмотрите в Центре управления сетями, в каком режиме активная сеть.

Answer 2

[alegzz]

форвардинг между вланами включен? а зачем нат?

Comments

[Руслан Егоров]

О форвардинге отвечу позже.
Почему не NAT? Что в замен IPv6 и Teredo или Socks?
У меня в локалке стоит multidomain web-server, multidomain mail-server и т.п. и ко всему этому нужен доступ из вне по определенным портам.

[alegzz]

Вам 2 человека говорят: разрешите форвардинг между интерфейсами

Answer 3

[Руслан Егоров]

Ответ как оказалось, прост до безобразия )))
На OS 2 стоит Win 10, на OS 1 стоит WinSrvStd2k12r2 - у них был включен брандмауэр по умолчанию, тем самым пинги не проходили. Отключив брандмауэр, пинги пошли.
Признаюсь, повторюсь, впервые настраиваю VLAN и не ожидал такого.

Comments

[Vladimir Zhurkin]

При любых непониманиях, надо начать анализировать ситуацию :) Я не просто так заговорил про снифер. Еще интересно про rp_filter, будет ли работать в режиме no. Еще посоветую делать тестовую среду в вирт машинах отдельных. Сейчас routeros спокойно можно запускать в hyper-v. Да и Vlan особо не увлекаться без причин.

[Руслан Егоров]

Vladimir Zhurkin: Да, Вы правы - частные сети, в мой анализ это не попало )))
В режиме rp_filter no все работает (опять же с отключенным брандмауэром)
В вирт машинах в основном и тестирую, просто у микротика есть свободные порты, да и всегда можно откатиться назад при наличии бэкапов.
Во время решения этой проблемы прочел не мало про VLAN и он меня заинтересовал, тем более с тем кол-вом ip адресов на моей работе, что он мне просто не обходим.
Сейчас начну копать в сторону маркировки пакетов и работой с ними, а так же с фильтрацией трафика в VLAN.

С одной стороны, в оправдание себя:
У меня уже был случай с нашим провайдером и VLAN на их стороне. У нас с провайдером очень тесные взаимосвязи, они нам предоставляют КПД между нашими филиалами по городу и даже по объекту. Осуществляют они это через VLAN внутри их сети.
Так вот была ситуация, пинги ходят а DHCP (67, 68 UDP) и DNS (53 TCP/UDP) не ходят, канал был до дальнего помещения с одним рабочим компом, провайдер разводил руками и не понимал в чем проблема. Я вручную прописал настройки и все работало. Затем через пару месяцев я еще раз их попросил напречься и решить вопрос, в итоге все заработало, как и на остальных объектах.
Суть в том что и в этот раз я начал грешить на VLAN и настройки с ним связанные.

[Vladimir Zhurkin]

Руслан Егоров: vlan на самом деле просты и ничего сложного нет. Обычно я говорю людям, что бы они визуально 1 свитч разбили на кучу мелких с нужным им кол-вом портов. Потом объяснение транкового порта, когда через порт передаются метки vlan. Обычно объясняю, что вот эта часть свитча и вот та, одно целое. Ну и хорошо помнить , что у vlan есть еще QinQ. Удобно когда vlan сети совпадают с кем-то, а надо пробросить - кровь из носа.