Как правильно подключить IPv6 туннель от Hurricane Electric?

Question

[Mr_Howell]

ДАНО:
--------

• VPS с Ubuntu 16.04.2 LTS с последними обновлениями
  
• белый статический IPv4 78.155.219.100 от selectel
  

ДАЛЕЕ:
---------

• Установлен docker по этой офф.инструкции и упоминается лишь потому что имеет свой сетевой интерфейс.
  
• Поднят 6to4 туннель по этой простой инструкции и успешно работает. IPv6 2002:4e9b:db64::1
  
• Зарегистрирован аккаунт Hurricane Electric, и запрошен Create Regular Tunnel, так же запрошена дополнительно /48 подсеть в добавок к /64 (но могу от /48 отказаться, не принципиально)
  

Полученные параметры:

Example Configurations

auto he-ipv6
iface he-ipv6 inet6 v4tunnel
address 2001:470:1f0a:b87::2
netmask 64
endpoint 216.66.80.30
local 78.155.219.100
ttl 255
gateway 2001:470:1f0a:b87::1

Перезапускаю сервер.

ПРОБЛЕМА:
---------------

• IPv6 2001:470:1f0b:b7f::1 и IPv6 2001:470:76b7::1 не доступны из интернета и не отвечают на пинги
  
• Всё что ходит по туннелю he-ipv6 это пинг к Server IPv6 Address: 2001:470:1f0a:b87::1 и ничего больше
  
• На комманду sudo ifup he-ipv6 сервер отвечает

  add tunnel "sit0" failed: No buffer space available
  Failed to bring up he-ipv6.

  
  
• sudo ifconfig
  нажат, что бы увидеть

  docker0 Link encap:Ethernet HWaddr 02:42:89:93:d3:d6
  inet addr:172.17.0.1 Bcast:0.0.0.0 Mask:255.255.0.0
  UP BROADCAST MULTICAST MTU:1500 Metric:1
  RX packets:0 errors:0 dropped:0 overruns:0 frame:0
  TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
  collisions:0 txqueuelen:0
  RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)
  
  ens3 Link encap:Ethernet HWaddr 00:60:a8:b2:d7:ba
  inet addr:78.155.219.100 Bcast:78.155.219.255 Mask:255.255.255.0
  inet6 addr: fe80::260:a8ff:feb2:d7ba/64 Scope:Link
  UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
  RX packets:21433 errors:0 dropped:0 overruns:0 frame:0
  TX packets:2214 errors:0 dropped:0 overruns:0 carrier:0
  collisions:0 txqueuelen:1000
  RX bytes:1355887 (1.3 MB) TX bytes:392677 (392.6 KB)
  
  he-ipv6 Link encap:IPv6-in-IPv4
  inet6 addr: 2001:470:1f0a:b87::2/64 Scope:Global
  inet6 addr: fe80::4e9b:db64/64 Scope:Link
  UP POINTOPOINT RUNNING NOARP MTU:1480 Metric:1
  RX packets:48 errors:0 dropped:0 overruns:0 frame:0
  TX packets:21 errors:0 dropped:0 overruns:0 carrier:0
  collisions:0 txqueuelen:1
  RX bytes:4992 (4.9 KB) TX bytes:2184 (2.1 KB)
  
  lo Link encap:Local Loopback
  inet addr:127.0.0.1 Mask:255.0.0.0
  inet6 addr: ::1/128 Scope:Host
  UP LOOPBACK RUNNING MTU:65536 Metric:1
  RX packets:164 errors:0 dropped:0 overruns:0 frame:0
  TX packets:164 errors:0 dropped:0 overruns:0 carrier:0
  collisions:0 txqueuelen:1
  RX bytes:12256 (12.2 KB) TX bytes:12256 (12.2 KB)
  
  tun6to4 Link encap:IPv6-in-IPv4
  inet6 addr: 2002:4e9b:db64::1/16 Scope:Global
  inet6 addr: ::78.155.219.100/96 Scope:Compat
  UP RUNNING NOARP MTU:1480 Metric:1
  RX packets:3 errors:0 dropped:0 overruns:0 frame:0
  TX packets:13 errors:0 dropped:0 overruns:0 carrier:0
  collisions:0 txqueuelen:1
  RX bytes:312 (312.0 B) TX bytes:1352 (1.3 KB)

  
  
• sudo nano /etc/network/interfaces
  нажат, что бы увидеть

  # This file describes the network interfaces available on your system
  # and how to activate them. For more information, see interfaces(5).
  
  source /etc/network/interfaces.d/*
  
  # The loopback network interface
  auto lo
  iface lo inet loopback
  
  # The primary network interface
  auto ens3
  iface ens3 inet static
  address 78.155.219.100
  netmask 255.255.255.0
  gateway 78.155.219.1
  dns-nameservers 8.8.8.8 77.88.8.8
  
  ##############################
  # https://6to4.ru/debian/
  
  auto tun6to4
  iface tun6to4 inet6 v4tunnel
  pre-up modprobe ipv6
  address 2002:4e9b:db64::1
  netmask 16
  gateway ::192.88.99.1
  endpoint any
  local 78.155.219.100
  # If you have set up an IPv6-capable firewall (and you should),
  # it can be enabled by using an "up" rule, such as the example below.
  # up /usr/local/sbin/ipv6firewall.sh tun6to4
  
  ##############################
  # https://tunnelbroker.net/
  
  auto he-ipv6
  iface he-ipv6 inet6 v4tunnel
  address 2001:470:1f0a:b87::2
  netmask 64
  endpoint 216.66.80.30
  local 78.155.219.100
  ttl 255
  gateway 2001:470:1f0a:b87::1
  
  ##############################
  
  

Что я делаю не так? Проблема на чьей стороне? В какую сторону копать?

UPD_1
Настройка туннеля практически ограничилась правкой /etc/network/interfaces и перезапуском VPS.

UPD_2
Что такое radvd и с чем его готовить - был не в курсе.

Comments

[Дмитрий]

а зачем вам туннель, если Селектел нативно поддерживает IPv6?

[Mr_Howell]

Дмитрий: их дочерний проект Vscale пока не раздаёт их, а только обещает в будущем.
https://vscale.io/ - русский аналог DigitalOcean

[Дмитрий]

Mr_Howell: а в чём тогда будет профит от хуриков, если вам не принципиально маршрутизировать /48? Что там /64, что там...
ПС Хотя, туплю, 6to4 же тоже подсеть дают.

[Mr_Howell]

То что туннель he-ipv6 скорее не работает, чем работает
понял когда установил 3proxy-сервер
с настройками:

proxy -64 -n -p3128 -a -i78.155.219.100 -e78.155.219.100 -e2002:4e9b:db64::1

трафик на IPv6 сайты успешно ходит, и отображается нужный IPv6

А при настройках вида:

proxy -64 -n -p3128 -a -i78.155.219.100 -e78.155.219.100 -e2001:470:1f0b:b7f::1

proxy -64 -n -p3128 -a -i78.155.219.100 -e78.155.219.100 -e2001:470:76b7::1

proxy -64 -n -p3128 -a -i78.155.219.100 -e78.155.219.100 -e2001:470:1f0a:b87::1

proxy -64 -n -p3128 -a -i78.155.219.100 -e78.155.219.100 -e2001:470:1f0a:b87::2

сайты по IPv6 не доступны.

[Дмитрий]

Mr_Howell: ну, давно с туннелями не сталкивался. Привык, что везде почти уже натив.
Лет 5 назад пробовал все виды туннелей, всё работало. Сейчас для своих нужд, на совсем ущербных и дешевых впсках поднимаю тупо Miredo. Хватает. А на продакшен использовать что-то кроме натива, слишком неэффективно.
Может, что-то фаерволл режет? Или форвардинг криво настроен.

[Mr_Howell]

Дмитрий: Все действия что описаны выше, были совершенны на свеже установленной системе, где даже вроде UFW-фаервол выключен. Ничего другого на машине не делалось.
Специально поднял этот тестовый сервер, т.к. проблема наблюдается на ряде других моих серверов.

По поводу 3proxy с настройками:

proxy -64 -n -p3128 -a -i78.155.219.100 -e78.155.219.100 -e2001:470:1f0a:b87::2

успешно работает, но это не правильный сценарий,
т.к. PTR запись для этого адреса (2001:470:1f0a:b87::2) K2karacha-1-pt.tunnel.tserv6.fra1.ipv6.he.net
т.е. это исключительно служебный адрес he.net

[Mr_Howell]

Дмитрий: Как считаете, 6to4 порой может быть не стабилен для продакшена?
Могу дать root-доступ на время, лишь бы найти причину и верный способ подключать. Конкретно этот сервер всё равно лабораторный, прибью через пару часов/дней.

[Дмитрий]

Mr_Howell: Ну, там обычно маршруты дикие какие-то. Может несколько раз прыгать туда-сюда, РТТ х2-х4. Для серьёзных вещей не советовал бы. Для личных проектов вполне подходит. Опять же, не знаю как сейчас ситуация у них, пользовался относительно давно этим всем делом.

У самого валяется дико бюджетный почти бесплатный ВПС без IPv6 для всяких прокси и впнов по работе. Всё руки не дойдут поднять там туннель. Как подниму, может, напишу, если вы раньше не решите проблему.

[Mr_Howell]

Дмитрий: спасибо, буду знать.

Если найду решение - опубликую тут.

Сейчас же потренеруюсь поднимать he-ipv6 туннель
на свежеустановленной ubuntu на ещё одном сервере selectel/vscale
где не буду ставить ни docker ни 6to4, что бы исключить конфликты с ними.
Потому что не понимаю причины (add tunnel "sit0" failed: No buffer space available) данной ошибки.

[Дмитрий]

Mr_Howell: пользуясь случаем, поднял вот сейчас таки на своей кривой канадской впске. Всё пашет, по ssh захожу свободно, пинги идут, днс ipv6 резолвит, гуглы в ipv6 открываю через curl/wget.

Может быть, этот vscale запрещает модуль sit при виртуализации или как-то кастрирует его? или там kvm?
а ещё, что у вас с mtu? попробуйте 1280 поставьте.

А вот это читали у хуриков на сайте?

Certain recent Linux kernel versions have a bug in the anti-spoofing code which breaks connectivity over a tunnel to 6in4 destinations. The following command may correct this until the kernel code has been corrected: ip tunnel 6rd dev he-ipv6 6rd-prefix $V6PTPNET/64 6rd-relay_prefix $TSERVV4IP/32 - Replacing $V6PTPNET with the IPv6 Server Address, leaving off the final 1 (So 2001:470:a::1/64 becomes 2001:470:a::/64) - Replacing $TSERVV4IP with the Server IPv4 Address

[Mr_Howell]

Если не устанавливать ни docker ни 6to4 ошибки "sit0" failed не будет.
Но консольный браузер Lynx в консоли сервера на странице https://yandex.ru/internet
отобразит лишь IPv6 Tunnel Endpoints - Client IPv6 Address: 2001:470:1f0a:b87::2) K2karacha-1-pt.tunnel.tserv6.fra1.ipv6.he.net
но никак не IP из Routed IPv6 Prefixes
и 3proxy аналогично лишь с ним заработает.

[Mr_Howell]

Дмитрий: у vscale KVM.

Видимо где то я туплю, ибо даже
lynx yandex.ru/internet
отображает хоть и IPv6 Hurricane Electric
но не тот, а лишь служебный из IPv6 Tunnel Endpoints

Ультрадешёвые VPS как правило все сплошь OpenVZ?
Там знаю много подводных камней из-за технологии и настроек хостинг-провайдера.

Заметку про ядро - пропустил. Спасиб.

[Дмитрий]

Mr_Howell: обычно да. Но у меня тоже kvm на нём.

[Дмитрий]

отобразит лишь IPv6 Tunnel Endpoints - Client IPv6 Address: 2001:470:1f0a:b87::2) K2karacha-1-pt.tunnel.tserv6.fra1.ipv6.he.net
но никак не IP из Routed IPv6 Prefixes

Так, подождите. А как вы собрались увидеть адреса из маршрутизируемого префикса, если вы его не анонсировали через advertisement?

[Mr_Howell]

Дмитрий: мои знания по сетям - поверхностны. Поэтому старался подробно и поэтапно описать проделанные действия. Подключение тунеля he.net по сути заключалось в прописывании /etc/network/interfaces и перезапуске.

Сейчас глянул, упоминание про advertisement нашёл лишь здесь

Из руководства выше:
Если у вас работает
ping6 ipv6.google.com
Но вылетает с ошибкой
wget -6 -O /dev/null he.net
Тогда 99% — проблема именно с MTU.
c wget ==> MTU вроде проблем нет.

[Дмитрий]

Mr_Howell: если хотите адреса из выданного префикса, гуглите в сторону radvd и ipv6 security extensions

[Mr_Howell]

Дмитрий: спасибо. Понял что radvd упустил. По поводу "ipv6 security extensions" пока не догнал, что конкретно имелось ввиду. Если общие вопросы по безопасности в ipv6-сетях то в продакшене iptables в лице UFW использую в качестве фаервола.

Если отметитесь в вопросе, не комментом, а ответом --> смогу пометить вопрос по сути решённым, что в профиле тостера отображается процентами т.к. radvd для меня открытие и его не хватало.

Задумался также о оправданности туyнеля от HE, временно могу и на 6to4 переждать, раз материнская компания УЖЕ использует ipv6, то думаю vscale-команда всё же прикрутит его к своему OpenStack-проекту до конца года.

[Дмитрий]

Mr_Howell:

По поводу "ipv6 security extensions" пока не догнал, что конкретно имелось ввиду.

Ну, я просто предположил, что если вас не устраивает адрес не из маршрутизируемого префикса, то он так же может не устроить, из-за того, что статический практически, может долго висеть не изменяясь.
Security extensions -- это фишка для автоматической ротации исходящих адресов, чтобы не палить основной статический, а соответственно и мак-адрес или частично статический адрес. Через определённое время адреса меняются, это обычная практика в ipv6, которая даже в винде включена по умолчанию, непонятно, почему линуксы до сих пор не включили.

Задумался также о оправданности туyнеля от HE, временно могу и на 6to4 переждать

6to4 обычно менее стабилен, у него чаще более наркоманские маршруты, как я уже упоминал. Спокойно может несколько раз туда-обратно через Атлантику прокинуть вам маршрут с РТТ 500+мс.

Answer 1

[krosh]

ip -6 route add 2000::/3 dev he-ipv6

или попробуйте сделать все руками и посмотрите ошибки:

ip tunnel add he-ipv6 mode sit remote 216.66.80.30 local 78.155.219.100 ttl 255
ip link set he-ipv6 up
ip addr add 2001:470:1f0a:b87::2/64 dev he-ipv6
ip -6 route add 2000::/3 dev he-ipv6

Назначить адрес интерфейсу из Вашего диапазона:

ip -6 a a 2001:470:1f0b:b7f::11/64 dev he-ipv6 noprefixroute

Тест:

curl --interface 2001:470:1f0b:b7f::11 "http://myexternalip.com/raw"

Comments

[krosh]

Mr_Howell: ошибка в начале, при проверке, это из-за того, что Вы не назначили адрес на интерфейс.

Закрепить статический маршрут и дополнительные адреса можно добавив строчку в файл /etc/network/interfaces в секцию про he-ipv6 (вроде так, уточните в интернете, если не сработает):

up ip -6 route add 2000::/3 dev he-ipv6
up ip -6 a a 2001:470:1f0b:b7f::11/64 dev he-ipv6 noprefixroute

Либо, если надо много адресов на интерфейсе, пользуйтесь скриптами и директивой post-up /path/to/script.sh.

В комментах был вопрос про 3proxy. Если еще актуально могу подсказать, задавайте только отдельный вопрос,т.к. в комментах не ясна Ваша проблема.

[Mr_Howell]

krosh:
sudo ip tun del he-ipv6
+

sudo ip tunnel add he-ipv6 mode sit remote 216.66.80.30 local 95.213.203.111 ttl 255
sudo ip link set he-ipv6 up
sudo ip addr add 2001:470:1f0a::2/64 dev he-ipv6
sudo ip -6 route add 2000::/3 dev he-ipv6

+

sudo ip -6 a a 2001:470:1f0b:b7f::1/64 dev he-ipv6 noprefixroute

+

sudo ip -6 route add 2000::/3 dev he-ipv6

Работает) спасибо
но .как бы правильно /etc/network/interfaces оформить? что бы после ребута не слетало.

[krosh]

Mr_Howell: речь про статический маршрут в сеть 2000::/3?

В этом точно не уверен, но в /etc/network/interfaces либо в секции auto he-ipv6, либо ниже используя добавить через up или port-up: ip -6 route add 2000::/3 dev he-ipv6

Перезапустить
sudo service networking restart
и проверить маршруты
sudo ip r s

Руками ничего не нужно запускать после рестарта сервера, ищите причину, почему не работает.

[Mr_Howell]

krosh:
Попробывал привести к такому виду /etc/network/interfaces

# IPv6 - Hurricane Electric
auto he-ipv6
iface he-ipv6 inet6 v4tunnel
address 2001:470:1f0a:b87::2
netmask 64
endpoint 216.66.80.30
local 78.155.219.100
ttl 255
gateway 2001:470:1f0a:b87::1
up ip -6 route add 2000::/3 dev he-ipv6
up ip -6 a a 2001:470:1f0b:b7f::11/64 dev he-ipv6 noprefixroute

но маршрут и ::11 не отображаються, а только

he-ipv6 Link encap:IPv6-in-IPv4
inet6 addr: 2001:470:1f0a:b87::2/64 Scope:Global
inet6 addr: fe80::5fd5:cb6f/64 Scope:Link
UP POINTOPOINT RUNNING NOARP MTU:1480 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1
RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)

Но думаю смогу нагуглить точные параметры конфига. (Правда не раньше чем через 10 часов)

--------

3proxy упоминал лишь в качестве проверки (одна из немногих программ у которых сходу вспомнил через какой выходной интерфейс ей ходить) про тот че curl --interface запамятовал.

[krosh]

Mr_Howell: если не получится, то проще задать отдельный вопрос с тегом Ubuntu, так выше вероятность получить ответ от знающих людей.

[binama]

Разобрались как в /etc/network/interfaces правильно прописать? Дайте ответ. Столкнулся то же с такой проблемой.