Docker + Wireguard. В чём причина ssl timeout?

Question

[Дмитрий]

Здравствуйте.
Возникла проблема с работой wireguard.
Купил vps, установил Ubuntu 20.04, wireguard.
Настройки для wireguard самые обычные, взяты из инета.
На локальном компе есть проект в docker-e.
При запуске моего проекта в docker на локальном компьютере, я получаю ошибку при запуске composer.



Кроме того, запуск моего проекта зависает без вывода ошибок, когда я пытаюсь получить новые пакеты



Он зависает, пока я не прерву процесс.

Это не может быть проблемой в моем коде, потому что если я отключу WG, все работает нормально.
Я пробовал WG на другом сервере, там такой проблемы не возникало.

Пробовал выполнить curl запрос на сервере,

curl  https://raw.githubusercontent.com/symfony/recipes/flex/main/index.json

{
    "aliases": {
        "2fa": "scheb/2fa-bundle",
        "admin": "easycorp/easyadmin-bundle",
        "admin-gen": "easycorp/easyadmin-bundle",
        "admin-generator": "easycorp/easyadmin-bundle",
************
}

в ответ получил страницу, всё как положено

Пробовал решить проблему отключение ipv6 - результат "0". Пытался воспользоваться этим советом - "0".

Обратился в поддержку - отвечают, что это не их проблемы.

Как решить эту проблему?

Comments

[ValdikSS]

ping пингует интернет-хосты? Если пингует — проблема, наиболее вероятно, в MTU, уменьшите его. Если не пингует, проблема в настройках сети.

[Дмитрий]

ValdikSS, пинг идёт, с выключенным wireguard всё работает на ура.
Так же пингуется и с включённым wireguard.
Проблемы начинаются когда я включаю wireguard и когда я пытаюсь поднять проект в docker-e.

Эта проблема с моей стороны или на стороне vps?

[Дмитрий]

ValdikSS, проверил значение mtu на vps и на локальном, как я понял - значения по умолчанию

eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500

wg0: <POINTOPOINT,NOARP,UP,LOWER_UP> mtu 1420

[ValdikSS]

https://tldp.org/HOWTO/Adv-Routing-HOWTO/lartc.coo...
https://tldp.org/HOWTO/Adv-Routing-HOWTO/lartc.coo...

[Дмитрий]

ValdikSS, благодарю за ссылки, но ничего не помогло. Пробовал менять значение mtu, добавлял правило для iptables, но результат "0"
Единственное, что я смог добиться, так это то, что ошибку "ssl connection timeout" стало выдавать как предупреждение , добавлять такое сообщение

https://raw.githubusercontent.com/symfony/recipes/flex/main/index.json could not be fully loaded, package information was loaded from the local cache and may be out of date

и завершать без ошибок работу скрипта.
Но это при условии, что все пакеты были уже загружены. Если надо скачать пакеты заново - всё по прежнему, зависание и timeout.
Как только выключаю WG - всё работает отлично.

[ValdikSS]

Дмитрий, сходу не подскажу

[Дмитрий]

ValdikSS, всё решилось.
Проблема действительно была d mtu для wireguard.
Но только на сервере и только в сторону увеличения значения.
На локальном я оставил всё как есть

eth0       mtu 1500
docker0    mtu 1500
wireguard  mtu 1420

На сервере

eth0      mtu 1500
wireguard mtu 1500

Как только сделал так - всё заработало.
Вчера, когда я написал, что не помогло, значение mtu для wireguard менял одинаково, и на локальном и на сервере.
Сейчас проверил несколько раз - работает.
Вот только не пойму, почему именно на сервере надо было увеличить значение mtu?

Answer 1

[Дмитрий]

Как подсказал ValdikSS проблема была в значении mtu.

На локальном docker + wireguard
Значение для wireguard оставляем без изменений - mtu 1420

На сервере увеличиваем значение mtu для wireguard до 1500

UPD.

Второй вариант решения проблемы.

На сервере ничего не меняем в настройках wireguard, значение mtu оставляем по умолчанию - 1420.

На локальном:

В корень проекта добавляем файл docker-compose.override.yml, в файле пишем

version: "3"
networks:
  default:
     driver: bridge
     driver_opts:
        com.docker.network.driver.mtu: 1420

В директории /etc/docker создаём файл daemon.json, в файле прописываем значение mtu равным значению mtu для wireguard.

{
   "mtu": 1420
}

В завершении выполняем команду

systemctl restart docker

Файл docker-compose.override.yml убирает первую ошибку "SSL connection timeout".
Файл daemon.yml убирает вторую ошибку, зависание при загрузке пакетов.

Comments

[ValdikSS]

Проблема не в значении MTU, а в сломанном механизме Path MTU Discovery. Вероятно, вы где-то заблокировали ICMP, или по какой-то еще причине не доходят ICMP-сообщения. Уменьшая MTU Docker-интерфейса при нерабочем PMTU Discovery вы только добавите проблем в конечном счёте.

shouldiblockicmp.com

[Дмитрий]

ValdikSS, а какие могут возникнуть проблемы?

И как мог сломать icmp? Простой установкой wireguard? Никаких настроек в системе я не менял.

[Дмитрий]

ValdikSS, вот локальные настройки wireguard

[Interface]
PrivateKey = ***********
Address = 10.0.0.2/32
DNS = 208.67.222.222, 208.67.220.220

[Peer]
PublicKey = ***********
Endpoint = ****:51830
AllowedIPs = 0.0.0.0/0
PersistentKeepalive = 20

Это настройки wireguard на сервере

[Interface]
PrivateKey = *********
Address = 10.0.0.1/24
ListenPort = 51830
PostUp = iptables -A FORWARD -i %i -j ACCEPT; iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
PostDown = iptables -D FORWARD -i %i -j ACCEPT; iptables -t nat -D POSTROUTING -o eth0 -j MASQUERADE

[Peer]
PublicKey = *********
AllowedIPs = 10.0.0.2/32

[ValdikSS]

Дмитрий,

а какие могут возникнуть проблемы?

TCP у вас будет работать при такой настройке, а с большими UDP-пакетами могут возникнуть проблемы.
Почему у вас не доходит ICMP — не могу подсказать, нужно диагностировать проблему.

MTU 1420 вполне «большой», поэтому вряд ли вы встретите проблемы при использовании современных правильно написанных программ, но, тем не менее, они могут возникнуть, и лучше всё сделать сразу правильно.

[Дмитрий]

ValdikSS,

нужно диагностировать проблему

Как правильно это сделать, с чего начать?

Может ли быть причина в vps? Повторю, если в обход vps, напрямую, без wireguard, через своего инет-провайдера - проблемы нет.

[ValdikSS]

Как правильно это сделать, с чего начать?

Используйте tcpdump, чтобы захватить ICMP-трафик интерфейса и посмотреть, маршрутизируется ли он в Docker-контейнер.
https://www.usenix.org/legacy/event/imc05/tech/ful...