Почему медленно открываются сайты через mikrotik с Wireguard?

Question

[anton0211]

Добрый день.
Подскажите к какую сторону думать.
Есть VPS с установленной туда RouteOS 7.1.3 - два интерфейса: ether1 (MTU 1500) и wireguard (MTU=1420). Сеть использую 198.0.0.1/24
Есть клиент физический mikrotik с RouteOS RouteOS 7.1.3 - на нем локальная сеть 192.168.0.1 .Сделал также wireguard (MTU=1420). Подключение между клиентом и сервером работает, пинги идут, маршрутизацию настроил. Данный клиент подключен к интернету через pppoe (MTU =1492).
Второй клиент смартфон Android с приложением wireguard- все работает идеально.

Проблема: Если пытаться зайти на какие то сайты пуская трафик по маршруту: ПК- МикротКлиент - VPS - Интернет то сайты грузятся ооочень медленно, а некоторые вообще не грузятся. А через софтину WireGuard все работает быстро и без проблем.
Читал что проблема может быть в MTU - но все попытки настроить ни к чему не привели...
И точно такая же проблема была с L2TP+IPSec - сайты также тормозили

Comments

[Shape0173]

Получилось решить головоломку? Столкнулся с тем же самым. Из интернетов нашел и попробовал еще одно:

/ip firewall mangle add action=change-mss chain=forward new-mss=1380 out-interface=wg0 protocol=tcp tcp-flags=syn tcp-mss=1381-65535

многим помогло, а мне не помогло. Волос на голове всё меньше, а я всё вырываю их. Не понимаю как отловить проблему, не то что решить.

[anton0211]

Shape0173, Добрый день. Проблема из за согласования MTU, при тестах удалось это разобрать. Как решить в сети подключенной по Оптике - не знаю, решить не удалось. Я не смог принудительно согласовать 1480 MTU с оптики + 1400 MTU wireguard + 1500 в LAN.

Я переехал на другой адрес, и тут нет оптики- поэтому поиск решения потерял для меня смысл)
Здесь же подключение идет просто по Ethernet с MTU 1500 - и вот при таком подключении все работает без проблем. Даже ничего не надо настраивать. На данный момент сделано подключение Микрот - VPS по wireguard. В микроте в адресс лист вношу адреса сайтов которые надо пусть через VPS, прописан маршрут, добавлен нат и правило маркировки трафика. И все работает)

[Shape0173]

anton0211, пока я пытался найти способ оценить фрагментацию из-за MTU, наткнулся на комментарий про fasttrack, отключил, всё заработало на ура. Потом сделал два правила fasttrack вместо одного старого - для пакетов из интерфейса интернета в мост и обратно. И волки сыты и CPU целы.
Для анализа MTU ничего не нашел :(

Answer 1

[elexterem]

1 ) Вариант
Попробуй это. Мне помогло.

/ip firewall mangle 
add action=change-mss chain=forward new-mss=clamp-to-pmtu out-interface=wireguard protocol=tcp tcp-flags=syn

Это правило корректирует размер mss
Если у тебя есть правило fasttrack, то отруби его и перезагрузи роутер

2) Второй вариант если не поможет первый Как определить оптимальный размер MTU?

Comments

[Mihas2]

Спасибо тебе огромное, а то я уже намучался с такой же проблемой!!

[Suziko]

Спасибо, дорогой! Прямо красота теперь!

[Egor Sofronov]

Я тебя люблю ))))
4 часа не мог понять в чем проблема, потом вспомнил про MTU, далее гугл и твой ответ. Спасибо большое.

Answer 2

[Виктор]

загрузка cpu роутера?

Comments

[anton0211]

Минимальная, выше 10% вообще не поднимается. Ни на клиенте, ни на сервере

[Виктор]

anton0211, а что за модель микротика?
к примеру hap ac ~70 мегабит выдает

[anton0211]

Микротик HeX RB750Gr3 .

[Виктор]

а если замер скорости тоннеля сделать между chr и RB750Gr3 встроенным bandwidth test?

[anton0211]

Виктор, это скорость если через внешний ип стучаться.


а это скорость если внутри тоннеля.

Получается в тоннели скорость в 10 раз режется?

[Виктор]

anton0211, уу. если есть возможность у френда взять роутер ну по типу моих hap ac или еще мощнее. тупо ради тестов то однозначно брать и тестить
хотя если не заморачиваться то достаточно и локального клиента wg
я на микротике поднимал потому что на центральном узле 2 провайдера. чтобы сделать балансировку\отказоустойчивость

[Виктор]

я вначале тоже покупал дешевый..не помню модель..черный такой мелкий..думал хватит...но нет( не взлетело(

[Виктор]

хотя у меня по загрузке ЦП упиралось в моменты тестов канала\передачи данных.
кстати в момент теста wg канала загрузка ЦП какая?

[anton0211]

Виктор, Понял. Наверное поищу еще какие нибудь варианты подключений. Спасибо!

[Виктор]

anton0211,

chr <<<===wg===>>> hap ac

Answer 3

[Zolg]

ICMP как на фаерволе разруливается ?

И внутри wg бегает только IPv4, или и IPv6 тоже ?
Если (и) IPv6, то во-первых для линка с mtu 1492 mtu wg должен быть (не больше) 1412, иначе не влезет
Ну и сам такой IPv6 мультихоминг не очень прост в реализации, если нет лишних блоков адресов и не использовать неправославный для v6 NAT

Comments

[anton0211]

Я только ipv4 использую. Я пробовал понижать MTU это результата тоже не принесло... Самое главное заходишь на сайт определения IP показывает ip сервера, запускаю проверку скорость - скорость отличная (больше 100мб). Но сайты плохо открываются(
icmp стандартные правила, не углублялся в эту тему. А что там посмотреть нужно?

[Zolg]

anton0211,
Я извиняюсь, но с такими вводными вопрос звучит как 'заходишь на сайт - открывается хорошо, но сайты открываются плохо'.

А что там посмотреть нужно?

что не блокируется Destination Unreachable; Fragmentation Needed and DF set

[anton0211]

Zolg, Если я ставлю на Пк или на андроид софтину WireGuard и делаю подключение к серваку - то все летает и никаких проблем.
Но если я соединяю микрот с сервером, то все грузится очень медленно, а некоторые сайты не открываются.
Сейчас почитаю про Destination Unreachable; Fragmentation Needed and DF set - спасибо!

Answer 4

[Raven1382]

fasttrack включен?

Comments

[anton0211]

Я нашел причину - все дело в MTU. Но как решить эту проблему я пока не понял...
У меня подключение интернета идет через pppoe, там 1480 MTU. У Wireguard ставлю 1420.
Дальше с помощью роутинга пускаю весь трафик через wireguard -и все отлично работает. Но если разделить трафик с помощью маркировки, часть сайтов идет через pppoe, а другая через Wireguard - то вот тут начинаются проблемы...

[Raven1382]

Я так и подумал, сегодня решал аналогичную проблему. Оказалось дело в fasttrack в правилах firewall filter. Если такое/такие правила есть, нужно в них добавить исключение на интерфейс wireguard

[anton0211]

Raven1382, Правило есть. А можно у Вас спросить как это правило должно в итоге выглядеть? Просто я пробовал отключать все правила в Firewall - и все равно не работало

[Raven1382]

протокол у вас может быть не заполнен

[anton0211]

Тоже не работает, пробовал отключать fasttrack - успеха тоже нет... Не понимаю. При проверке MTU соответственно вот так показывает. Я пробовал понижать все до 1400 - чтобы одинаково было- успеха тоже не было.

[Raven1382]

Заголовки WireGuard:
- 20-byte IPv4 header
- 8-byte UDP header
- 4-byte type
- 4-byte key index
- 8-byte nonce
- 16-byte authentication tag

Всего 60. Т.е. если у вас MTU для PPPoE = 1480, то 1480-60=1420
Таким образом, для PPPoE оставляете 1480, для WireGuard можно оставить стандартный 1420

Вот это "если разделить трафик с помощью маркировки" как делаете?

[anton0211]

Raven1382, на удивление если ставить 1420 то почему-то все равно выставляется 1400, я не понял почему так...
Маркировку делаю с помощью Routing Mark и добавления нужных адресов в Adress Lists

[Raven1382]

anton0211 можете прислать Filter Rules и Mangle?

[anton0211]

Не знаю как удобнее будет, пока выгрузил командой:
ip firewall mangle export file=mangle.rsc
ip firewall filter export file=filter.rsc

https://disk.yandex.ru/d/_hez9Rm8CeDBlQ
https://disk.yandex.ru/d/Hum1DBPNkELHxg

[Raven1382]

Попробуйте так
/ip firewall mangle
add action=mark-connection chain=prerouting connection-mark=no-mark \
connection-state=new disabled=yes dst-address-list=VPN in-interface=\
bridge new-connection-mark=VPN_conn passthrough=yes
add action=mark-routing chain=prerouting connection-mark=VPN_conn disabled=\
yes in-interface=bridge new-routing-mark=VPN passthrough=no

и перезагрузите роутер

[Raven1382]

только disabled=no ))

[anton0211]

Raven1382, Тоже самое(
Fasttrack пока что вообще отключил.

Answer 5

[Евгений]

выставьте на клиенте (ПК) MTU не выше MTU WG.
столкнулся с подобным, только у меня не поднимался коннект с серверами, использующими Qrator. При этом на тике коннект проходил корректно. При снятии дампа оказалось, что SSL не поднимается при коннекте к сайтам. В итоге решилось понижением MTU на клиенте (в моем случае 1420).

Comments

[Евгений]

а лучше следующим образом
/ip firewall mangle
add out-interface=wireguard1 protocol=tcp tcp-flags=syn action=change-mss new-mss=1360 chain=forward tcp-mss=1361-65535

соответственно значение выставить MTU вашего WG минус 60. ну и имя интерфейса не забыть скорректировать

Answer 6

[Ragnar Black]

У вас там CHR? Активируйте лицензию через личный кабинет на сайте MikroTik.
По умолчанию на CHR в режиме free все порты работаю на скорости до 1Mbps

Comments

[anton0211]

лицензия активирована, дело не в этом) дело точно в mtu, но как это заставить работать я не понимаю( поэтому пока отложил в сторону эту тему(

[Ragnar Black]

anton0211, скиньте export сюда в комменты, хочу посмотреть как у вас что настроено

[anton0211]

Ragnar Black,
Доброе утро.
https://disk.yandex.ru/d/MwUndDq7PfR27Q сделал экспорт основных настроек, если что то забыл - вечером сделаю. Как скачаете, напишите что скачали.

[Ragnar Black]

anton0211, спасибо.
посмотрел ваши конфиги.
1) маркируйте сначала соединения, потом на основе соединений маршруты
2) указывайте роут в тоннель только помеченным роутам. больше ничего
3) в правиле нат укажите натировать только соединения с маркой роутов