Настройка keepalived на hetzner, не могу достучаться до виртуального IP?

Question

[dmitrii11221122]

Здравствуйте.

Прошу извинить, в данной теме не очень силен.
Пытаюсь настроить keepalived на hetzner cloud.
Есть 4 машины, они все в одной сети. На 3 машинах развернут кластер. На четвертой хочу развернуть веб приложение, которое будет стучаться на кластер.
В общем развернул postgres кластер в числе прочего использую keepalived. Проблема в том, что с четвертой машины не пингуется виртуальный IP.
Сеть 10.0.0.0/24
Настройки keepalived на машинах идентичные

global_defs {
   router_id ocp_vrrp
}
 
vrrp_script haproxy_check {
   script "/bin/kill -0 `cat /var/run/haproxy/haproxy.pid`"
   interval 2
   weight 2
}
 
vrrp_instance VI_1 {
   interface ens10
   virtual_router_id 133
   priority  100
   advert_int 2
   state  BACKUP
   virtual_ipaddress {
       10.0.0.100/24
   }
   track_script {
       haproxy_check
   }
   authentication {
      auth_type PASS
      auth_pass pass
   }
}

Подскажите, пожалуйста, что я делаю не так

Answer 1

[Владимир]

Если у всех стоит одинаковый priority и state BACKUP - никто ип не поднимет тк как все ноды думаю что они бекап, а мастера нет. Одна нода должна быть с "state MASTER" и большим priority чем у остальных

Comments

[dmitrii11221122]

У одной из нод повысил приоритет и установил state MASTER - не помогло. Причем на машинах кластера (на любой) виртуальный адрес пингуется

[Владимир]

а вы смотрели список ип адресов на всех нодах ? ни на одной нет такого адреса ? опятьже у вас изолированная сеть от других клиентов hetzner ? - может этот адрес просто использует ктото еще....

[dmitrii11221122]

Владимир, да сеть изолированная от других клиентов. nmap показывает только мои машины

```
web@pgnode02:~$ nmap -sn 10.0.0.0/24

Starting Nmap 7.60 ( https://nmap.org ) at 2019-08-28 15:18 CEST
Nmap scan report for pgnode02 (10.0.0.2)
Host is up (0.00030s latency).
Nmap scan report for 10.0.0.5
Host is up (0.0016s latency).
Nmap scan report for 10.0.0.6
Host is up (0.0014s latency).
Nmap done: 256 IP addresses (3 hosts up) scanned in 2.91 seconds

```

[dmitrii11221122]

В общем докопал до того, что первоначально была проблема в том, что машины с keepalived не видели друг друга и каждый становился мастером (подобное тут описывается например https://serverfault.com/questions/512153/both-serv... Поэтому-то виртуальный IP и пинговался внутри каждой машины кластера (каждый на себя резолвился понятное дело). В общем добавил правила в iptables и вместо multicast сделал unicast. Судя по логам машины как-то смогли достучаться друг до друга, но теперь на BACKUP машине не удается пингануть виртуальный IP (пинг зависает).

[dmitrii11221122]

Вот так выглядит лог keepalived на BACKUP сервере

авг 28 15:13:05 pgnode02 systemd[1]: Starting Keepalive Daemon (LVS and VRRP)...
авг 28 15:13:05 pgnode02 keepalived[25348]: Wed Aug 28 15:13:05 2019: Starting Keepalived v1.3.9 (10/21,2017)
авг 28 15:13:05 pgnode02 keepalived[25348]: Wed Aug 28 15:13:05 2019: Opening file '/etc/keepalived/keepalived.conf'.
авг 28 15:13:05 pgnode02 Keepalived[25348]: Starting Keepalived v1.3.9 (10/21,2017)
авг 28 15:13:05 pgnode02 Keepalived[25348]: Opening file '/etc/keepalived/keepalived.conf'.
авг 28 15:13:05 pgnode02 systemd[1]: Started Keepalive Daemon (LVS and VRRP).
авг 28 15:13:05 pgnode02 Keepalived[25353]: Starting Healthcheck child process, pid=25355
авг 28 15:13:05 pgnode02 Keepalived_healthcheckers[25355]: Opening file '/etc/keepalived/keepalived.conf'.
авг 28 15:13:05 pgnode02 Keepalived[25353]: Starting VRRP child process, pid=25356
авг 28 15:13:05 pgnode02 Keepalived_vrrp[25356]: Registering Kernel netlink reflector
авг 28 15:13:05 pgnode02 Keepalived_vrrp[25356]: Registering Kernel netlink command channel
авг 28 15:13:05 pgnode02 Keepalived_vrrp[25356]: Registering gratuitous ARP shared channel
авг 28 15:13:05 pgnode02 Keepalived_vrrp[25356]: Opening file '/etc/keepalived/keepalived.conf'.
авг 28 15:13:05 pgnode02 Keepalived_vrrp[25356]: WARNING - default user 'keepalived_script' for script execution does not exist - please create.
авг 28 15:13:05 pgnode02 Keepalived_vrrp[25356]: SECURITY VIOLATION - scripts are being executed but script_security not enabled.
авг 28 15:13:05 pgnode02 Keepalived_vrrp[25356]: VRRP_Instance(VI_1) removing protocol VIPs.
авг 28 15:13:05 pgnode02 Keepalived_vrrp[25356]: Using LinkWatch kernel netlink reflector...
авг 28 15:13:05 pgnode02 Keepalived_vrrp[25356]: VRRP_Instance(VI_1) Entering BACKUP STATE
авг 28 15:13:05 pgnode02 Keepalived_vrrp[25356]: VRRP sockpool: [ifindex(3), proto(112), unicast(1), fd(10,11)]
авг 28 15:13:05 pgnode02 Keepalived_vrrp[25356]: VRRP_Script(haproxy_check) succeeded
авг 28 15:13:07 pgnode02 Keepalived_vrrp[25356]: VRRP_Instance(VI_1) Changing effective priority from 100 to 102
авг 28 15:13:15 pgnode02 Keepalived_vrrp[25356]: VRRP_Instance(VI_1) Transition to MASTER STATE
авг 28 15:13:17 pgnode02 Keepalived_vrrp[25356]: VRRP_Instance(VI_1) Entering MASTER STATE
авг 28 15:13:17 pgnode02 Keepalived_vrrp[25356]: VRRP_Instance(VI_1) setting protocol VIPs.
авг 28 15:13:17 pgnode02 Keepalived_vrrp[25356]: Sending gratuitous ARP on ens10 for 10.0.0.100
авг 28 15:13:17 pgnode02 Keepalived_vrrp[25356]: VRRP_Instance(VI_1) Sending/queueing gratuitous ARPs on ens10 for 10.0.0.100
авг 28 15:13:17 pgnode02 Keepalived_vrrp[25356]: Sending gratuitous ARP on ens10 for 10.0.0.100
авг 28 15:13:17 pgnode02 Keepalived_vrrp[25356]: Sending gratuitous ARP on ens10 for 10.0.0.100
авг 28 15:13:17 pgnode02 Keepalived_vrrp[25356]: Sending gratuitous ARP on ens10 for 10.0.0.100
авг 28 15:13:17 pgnode02 Keepalived_vrrp[25356]: Sending gratuitous ARP on ens10 for 10.0.0.100
авг 28 15:13:17 pgnode02 Keepalived_vrrp[25356]: VRRP_Instance(VI_1) Received advert with higher priority 200, ours 102
авг 28 15:13:17 pgnode02 Keepalived_vrrp[25356]: VRRP_Instance(VI_1) Entering BACKUP STATE
авг 28 15:13:17 pgnode02 Keepalived_vrrp[25356]: VRRP_Instance(VI_1) removing protocol VIPs

Вот так на MASTER

авг 28 15:13:16 pgnode01 systemd[1]: Starting Keepalive Daemon (LVS and VRRP)...
авг 28 15:13:16 pgnode01 keepalived[28677]: Wed Aug 28 15:13:16 2019: Starting Keepalived v1.3.9 (10/21,2017)
авг 28 15:13:16 pgnode01 keepalived[28677]: Wed Aug 28 15:13:16 2019: Opening file '/etc/keepalived/keepalived.conf'.
авг 28 15:13:16 pgnode01 Keepalived[28677]: Starting Keepalived v1.3.9 (10/21,2017)
авг 28 15:13:16 pgnode01 Keepalived[28677]: Opening file '/etc/keepalived/keepalived.conf'.
авг 28 15:13:16 pgnode01 systemd[1]: Started Keepalive Daemon (LVS and VRRP).
авг 28 15:13:16 pgnode01 Keepalived[28686]: Starting Healthcheck child process, pid=28689
авг 28 15:13:16 pgnode01 Keepalived[28686]: Starting VRRP child process, pid=28690
авг 28 15:13:16 pgnode01 Keepalived_healthcheckers[28689]: Opening file '/etc/keepalived/keepalived.conf'.
авг 28 15:13:16 pgnode01 Keepalived_vrrp[28690]: Registering Kernel netlink reflector
авг 28 15:13:16 pgnode01 Keepalived_vrrp[28690]: Registering Kernel netlink command channel
авг 28 15:13:16 pgnode01 Keepalived_vrrp[28690]: Registering gratuitous ARP shared channel
авг 28 15:13:16 pgnode01 Keepalived_vrrp[28690]: Opening file '/etc/keepalived/keepalived.conf'.
авг 28 15:13:16 pgnode01 Keepalived_vrrp[28690]: WARNING - default user 'keepalived_script' for script execution does not exist - please create.
авг 28 15:13:16 pgnode01 Keepalived_vrrp[28690]: SECURITY VIOLATION - scripts are being executed but script_security not enabled.
авг 28 15:13:16 pgnode01 Keepalived_vrrp[28690]: VRRP_Instance(VI_1) removing protocol VIPs.
авг 28 15:13:16 pgnode01 Keepalived_vrrp[28690]: Using LinkWatch kernel netlink reflector...
авг 28 15:13:16 pgnode01 Keepalived_vrrp[28690]: VRRP sockpool: [ifindex(3), proto(112), unicast(1), fd(10,11)]
авг 28 15:13:16 pgnode01 Keepalived_vrrp[28690]: VRRP_Script(haproxy_check) succeeded
авг 28 15:13:17 pgnode01 Keepalived_vrrp[28690]: VRRP_Instance(VI_1) Transition to MASTER STATE
авг 28 15:13:18 pgnode01 Keepalived_vrrp[28690]: VRRP_Instance(VI_1) Changing effective priority from 200 to 202
авг 28 15:13:19 pgnode01 Keepalived_vrrp[28690]: VRRP_Instance(VI_1) Entering MASTER STATE
авг 28 15:13:19 pgnode01 Keepalived_vrrp[28690]: VRRP_Instance(VI_1) setting protocol VIPs.
авг 28 15:13:19 pgnode01 Keepalived_vrrp[28690]: Sending gratuitous ARP on ens10 for 10.0.0.100
авг 28 15:13:19 pgnode01 Keepalived_vrrp[28690]: VRRP_Instance(VI_1) Sending/queueing gratuitous ARPs on ens10 for 10.0.0.100
авг 28 15:13:19 pgnode01 Keepalived_vrrp[28690]: Sending gratuitous ARP on ens10 for 10.0.0.100
авг 28 15:13:19 pgnode01 Keepalived_vrrp[28690]: Sending gratuitous ARP on ens10 for 10.0.0.100
авг 28 15:13:19 pgnode01 Keepalived_vrrp[28690]: Sending gratuitous ARP on ens10 for 10.0.0.100
авг 28 15:13:19 pgnode01 Keepalived_vrrp[28690]: Sending gratuitous ARP on ens10 for 10.0.0.100
авг 28 15:13:24 pgnode01 Keepalived_vrrp[28690]: Sending gratuitous ARP on ens10 for 10.0.0.100
авг 28 15:13:24 pgnode01 Keepalived_vrrp[28690]: VRRP_Instance(VI_1) Sending/queueing gratuitous ARPs on ens10 for 10.0.0.100
авг 28 15:13:24 pgnode01 Keepalived_vrrp[28690]: Sending gratuitous ARP on ens10 for 10.0.0.100
авг 28 15:13:24 pgnode01 Keepalived_vrrp[28690]: Sending gratuitous ARP on ens10 for 10.0.0.100
авг 28 15:13:24 pgnode01 Keepalived_vrrp[28690]: Sending gratuitous ARP on ens10 for 10.0.0.100
авг 28 15:13:24 pgnode01 Keepalived_vrrp[28690]: Sending gratuitous ARP on ens10 for 10.0.0.100

[Владимир]

В обоих логах я не вижу никаких проблем, в логах pgnode02 была мастером, но в 15:13:17 появилась pgnode01 и стала мастером. Вобщем после 15:13:24 pgnode01 является мастером и должна поднять ип 10.0.0.100.
Еще мысли:
проверте вывод "ip" на pgnode01 есть ли там адрес 10.0.0.100 ?этот адрес должен быть на интерфейсе ens10
интерфейс ens10 в правильном vlane ?
еще может быть фаервол мешает пигновать 10.0.0.100

[dmitrii11221122]

Владимир, в общем проблема судя по всему не в keepalived. Что я сделал
1) Выключил firewall на машинах (на всякий случай для чистоты эксперимента)
2) на одной из машин сделал
sudo ip addr add 10.0.0.100/32 dev ens10
3) попробовал пингануть со второй машины
Результат: не пингуется.

[Георг Гаал]

В хетцнер Клауд почти наверняка keepalived не будет работать. В целом, он не особо работает в облаках. По определённым причинам (особенности облачной сети). Что нужно сделать. Нужно руками собрать отказоустойчивый кластер приложения (например, постгрес). Заказать floating ip от провайдера. И реализовать систему мониторинга и реагировани, которая будет этот floating ip гонять по узлам. Т.к. в хетценере, как у самого дешёвого провайдера, этот функционал не реализован "из коробки"
Либо - закрыться каким-то внешним балансировщиком (вообще вне хетцнера).