Как в haproxy сделать, чтобы подставлялся для каждого домена свой сертификат?

Question

[foxikne]

Здравствуйте. Подскажите, пожалуйста, наткнулся на проблему, нужно сделать чтобы когда запросы для определенного домена проходят через Haproxy брали сертификат, тот который указан в haproxy, для каждого домена свой. Вот как делаю:

frontend domain.com
  bind 0.0.0.0:443 ssl crt /etc/haproxy/certs/domain.com.pem
  http-request redirect scheme https if !{ ssl_fc }
  option http-server-close
  option httplog
  option forwardfor
  reqadd X-Forwarded-Proto:\ https
  reqadd X-Forwarded-Port:\ 443
 
  # set HTTP Strict Transport Security (HTST) header
  rspadd  Strict-Transport-Security:\ max-age=15768000
 
   acl host_domain.com hdr(host) -i domain.com
   use_backend domain.com if host_domain.com
  
backend domain.com
  balance leastconn
  option http-keep-alive
  option forwardfor
  cookie SERVERID insert indirect nocache
  timeout connect  30000
  timeout server 30000
  
  server server1 1.1.1.1:443 cookie 1 ssl verify none
  server server2 2.2.2.2:443 cookie 2 ssl verify none
  server server3 3.3.3.3:443 cookie 4 ssl verify none

так то оно работает нормально, но когда добавляю много сайтов, в особенности типа с поддоменами языковыми:
de.domain.com, nl.domain.com и т.д., оно начинает выдавать неправильные сертификаты, от других доменов. Иногда выдает правильно иногда нет. Когда мало доменов, то все нормально, когда много, постоянно разные сертификаты подставляет. Что неправильно делаю? Как это пофиксить? Честно говорят, даже не знаю, как в гугле задать правильно эту проблему.

P.S. у меня на серверах, куда ходят сайты просто самоподписанный сертификат, а я хочу чтобы именно на хапрокси были валидные, которые будут показываться пользователям.

Заранее благодарен за помощь.

Answer 1

[Евгений Хлебников]

frontend domain.com
bind 0.0.0.0:443 ssl crt /etc/haproxy/certs/domain.com.pem

На 443 порту у вас все эти сайты терминейтятся, а сертификат вы указываете один.
конкретно в вашем случае необходимо директиву crt указывать несколько раз:

bind 0.0.0.0:443 ssl crt /etc/haproxy/certs/domain.com.pem crt  /etc/haproxy/certs/en.domain.com.pem crt  /etc/haproxy/certs/ru.domain.com.pem crt ...

Или же - проще - указать директорию где лежат правильно приготовленные сертификаты и загрузить их все одно опцией crt /etc/haproxy/certs/
HAProxy в алфавитном порядке будет подставлять сертификаты. Соответственно если у вас в папке лежит устаревший сертификат для en.domain.com и новый для wildcard.domain.com - загружаться будет en... пока вы его не удалите и не перезагрузите HAProxy. Сертификаты из папки подгружаются при старте HAProxy и при замене сертификатов надо перезагружать софт (особенно актуально, если вы используете загрузку из папки)
К сожалению, вы не указали версию HAProxy и OpenSSL либы с которой собрана хапрокси.
В зависимости от версии хапры, опенссл и наличия\отсутствия openssl либы оно может работать по разному.

Comments

[Евгений Хлебников]

кроме того, http-request redirect scheme https if !{ ssl_fc } не имеет смысла, поскольку вы не прописали не-ssl биндинг.
если вы добавите bind *:80 в конфиг фронтенда то тогда эта опция будет работать и переправлять клиента на 443

[foxikne]

Спасибо за ответ. HA-Proxy version 2.0.6

Нет, я для каждого поддомена делаю отдельный frontend и backend. По аналогии того, что я написал выше и там указываю к нему путь к сертификату. Сертификаты генерируют letsencrypt.

то есть, у меня выглядит вот так:

frontend domain.com
  bind 0.0.0.0:443 ssl crt /etc/haproxy/certs/domain.com.pem
  http-request redirect scheme https if !{ ssl_fc }
  option http-server-close
  option httplog
  option forwardfor
  reqadd X-Forwarded-Proto:\ https
  reqadd X-Forwarded-Port:\ 443
 
  # set HTTP Strict Transport Security (HTST) header
  rspadd  Strict-Transport-Security:\ max-age=15768000
 
   acl host_domain.com hdr(host) -i domain.com
   use_backend domain.com if host_domain.com
  
backend domain.com
  balance leastconn
  option http-keep-alive
  option forwardfor
  cookie SERVERID insert indirect nocache
  timeout connect  30000
  timeout server 30000
  
  server server1 1.1.1.1:443 cookie 1 ssl verify none
  server server2 2.2.2.2:443 cookie 2 ssl verify none
  server server3 3.3.3.3:443 cookie 4 ssl verify none


frontend de.domain.com
  bind 0.0.0.0:443 ssl crt /etc/haproxy/certs/de.domain.com.pem
  http-request redirect scheme https if !{ ssl_fc }
  option http-server-close
  option httplog
  option forwardfor
  reqadd X-Forwarded-Proto:\ https
  reqadd X-Forwarded-Port:\ 443
 
  # set HTTP Strict Transport Security (HTST) header
  rspadd  Strict-Transport-Security:\ max-age=15768000
 
   acl host_de.domain.com hdr(host) -i de.domain.com
   use_backend de.domain.com if host_de.domain.com
  
backend de.domain.com
  balance leastconn
  option http-keep-alive
  option forwardfor
  cookie SERVERID insert indirect nocache
  timeout connect  30000
  timeout server 30000
  
  server server1 1.1.1.1:443 cookie 1 ssl verify none
  server server2 2.2.2.2:443 cookie 2 ssl verify none
  server server3 3.3.3.3:443 cookie 4 ssl verify none


frontend en.domain.com
  bind 0.0.0.0:443 ssl crt /etc/haproxy/certs/en.domain.com.pem
  http-request redirect scheme https if !{ ssl_fc }
  option http-server-close
  option httplog
  option forwardfor
  reqadd X-Forwarded-Proto:\ https
  reqadd X-Forwarded-Port:\ 443
 
  # set HTTP Strict Transport Security (HTST) header
  rspadd  Strict-Transport-Security:\ max-age=15768000
 
   acl host_en.domain.com hdr(host) -i en.domain.com
   use_backend en.domain.com if host_en.domain.com
  
backend en.domain.com
  balance leastconn
  option http-keep-alive
  option forwardfor
  cookie SERVERID insert indirect nocache
  timeout connect  30000
  timeout server 30000
  
  server server1 1.1.1.1:443 cookie 1 ssl verify none
  server server2 2.2.2.2:443 cookie 2 ssl verify none
  server server3 3.3.3.3:443 cookie 4 ssl verify none

то есть, вот так вот у меня выглядит. Сертификаты не wildcard. Все сертификаты в одной папке, каждый назван по имени домена и я в фронте указываю каждому путь к своему сертификату.

Может еще быть из за того, что я через hosts файл тестирую, а не DNS ? По идее, не должно, но мало ли.

[foxikne]

Евгений, да, у меня был bind на 80, я просто тут убрал, а редирект не убрал. Но мне важно, решить эту проблему с сертификатами, потому что когда их штук 5, то вроде работает норм, а когда штук 30, то начинает выдавать не верные сертификаты

[Евгений Хлебников]

foxikne, ну вообще странно что оно работает. Хапрокси по своей архитектуре поднимает треды на каждую секцию конфига - все фронтенды изолированы.
Сами подумайте, вы делаете 10 биндов слушающих на *:443 - как вообще система определит какой из фронтендов должен обслуживать что?. Отсюда и ваша проблема.
Фронтенд, если вы не разделяете их по IP адресам - должен быть один. Сертификатов в нём много.
И да, редирект так-то полезен с 80 на 443, поскольку при наборе somesite.com -никто не обязывает браузер идти только на 443(https). Он вполне может прийти на 80 (http). И ваш балансер может направить его правильно. Если у вас не ходят реальные люди с реальыми браузерами (например балансируется эндпойнт для какого то сервиса где в конфиге прописан порт) то убирайте, конечно

[foxikne]

Евгений да, действительно. В этом была ошибка. Я засунул все в один фронтенд и указал папку с сертификатами, и вроде как работает.)) спасибо большое