Почему контейнер не видит SSL-сертификат?

Question

[Alexej Belkin]

Запустил образ, открыл порты, но при заходе на адрес - все равно пишет не защищено, значит сертификат не встал. Что я сделал не так?
Структура части контейнера такая:

• docker-compose.yml
  
• nginx
  
  • Dockerfile
    
  • nginx.conf
    
  
  
• file_setting
  
  • privkey.pem
    
  • fullchain.pem
    
  
  

privkey.pem и fullchain.pem - скопировал из папки (там сгенерированные SSL от Let's Encrypt):
/etc/letsencrypt/live/my_domain.ru/
Содержимое Dockerfile в папке nginx:

FROM nginx
RUN rm /etc/nginx/conf.d/default.conf
COPY nginx.conf /etc/nginx/conf.d/

Содержимое nginx.conf:

server {
    listen 95;
    server_name my_domain.ru www.my_domain.ru;

    proxy_read_timeout 300;
    proxy_connect_timeout 300;
    proxy_send_timeout 300;

    return 301 https://$host:96$request_uri;
}
server {
    listen 96 ssl;
    server_name my_domain.ru www.my_domain.ru;

    proxy_read_timeout 300;
    proxy_connect_timeout 300;
    proxy_send_timeout 300;

    ssl on;
    ssl_certificate fullchain.pem;
    ssl_certificate_key privkey.pem;
    location / {
                  include uwsgi_params;
                  uwsgi_pass app:8095;
                 }
}

Содержимое сервиса nginx в docker-compose.yml:

nginx:
    volumes:
      - ./file_setting/fullchain.pem:/etc/nginx/fullchain.pem
      - ./file_setting/privkey.pem:/etc/nginx/privkey.pem
    build: ./nginx
    container_name: t_nginx
    restart: always
    ports:
      - 95:80
    depends_on:
      - app

Comments

[Valentin Barbolin]

ports:
- 95:80
- 96:443

[Alexej Belkin]

Andrey Barbolin, Получается надо указать 2 порта для конта?

[Valentin Barbolin]

Alexej Belkin, На 80 порту браузер не ожидает ssl, если ты попробуешь поднять на нем SSL то получишь ошибку.
Все браузеры ждут ssl на 443 порту.

Получается
80 нужен для редиректа на 443, это не обязательно но хорошая практика.
443 нужен для ssl

[Alexej Belkin]

Andrey Barbolin, а если у меня 96 порт внешки смотрит на 5000 сервиса app?
Сервис app:

app:
    build: ./app
    links:
      - db
    restart: always
    volumes:
      - ./app:/app
    ports:
      - 96:5000
    command: python wsgi_docker.py
    depends_on:
      - db
    container_name: t_app

Получается надо app Тогда поднимать на 443?
Что-то я запутался...

[Alexej Belkin]

Andrey Barbolin, Получается, что нельзя на одном домене поднять несколько докеров с SSL(раз 443 дам 1му докеру)?

[Valentin Barbolin]

Alexej Belkin, Смотря для каких целей. Если ты используешь SSL (- 96:5000) для API, то не принципиально какой порт использовать. Если на порт 5000 будет заходить браузер, то его надо поменять на 443.

[Valentin Barbolin]

Alexej Belkin,
> Получается, что нельзя на одном домене поднять несколько докеров с SSL(раз 443 дам 1му докеру)?
Зачем?

[Alexej Belkin]

Andrey Barbolin, Ну чтобы на VDS не делать тысячу серваков, а на одном развернуть просто несколько докеров (как это сейчас у меня - просто ни у кого нет SSL)

[Alexej Belkin]

Andrey Barbolin, сделал так:
в файле wsgi_docker.py:
app.run(host='0.0.0.0', port=443, debug=False)
В сервисах:

app:
   ports:
      - 96:443
    command: python wsgi_docker.py
 nginx:
  - ports:
      - 95:80

Все равно не защищен говорит при запуске. Или я что-то не так понял?

[waryag_twar]

Alexej Belkin, можно вешать ссл на другие порты

[Alexej Belkin]

waryag_twar,
Исправил так:
wsgi_docker - точка входа в приложение:
app.run(host='0.0.0.0', port=443, debug=False)
Компос:

services:
  app:
    ports:
      - 96:443
    command: python wsgi_docker.py
   nginx:
      ports:
        - 95:80
        - 96:443
      depends_on:
        - app

nginx/nginx.conf

server {
    listen 80;
    ...
    return 301 https://$host$request_uri;
}
server {
    listen 443 ssl;
    ssl_certificate fullchain.pem;
    ssl_certificate_key privkey.pem;
    location / {
                  include uwsgi_params;
                  uwsgi_pass app:8095;
                 }
}

Выпадает ошибка:

ERROR: for nginx  Cannot start service nginx: driver failed programming external connectivity on endpoint t_nginx_ai (a7e0259dd9ac8b8c6c812c8379af029b37a38460cee296a4ae8b6978d0747ccb): Bind for 0.0.0.0:96 failed: port is already allocated

[Valentin Barbolin]

Alexej Belkin,

app.run(host='0.0.0.0', port=8095, debug=False)

services:
  app:
    command: python wsgi_docker.py
   nginx:
      ports:
        - 95:80
        - 96:443
      depends_on:
        - app

server {
    listen 95;
    ...
    return 301 https://$host$request_uri;
}
server {
    listen 96 ssl;
    ssl_certificate fullchain.pem;
    ssl_certificate_key privkey.pem;
    location / {
                  include uwsgi_params;
                  uwsgi_pass app:8095;
                 }
}

[Alexej Belkin]

Andrey Barbolin, запустилось:

t_app   |  * Running on http://127.0.0.1:8095
t_app   |  * Running on http://_._._._:8095 (Press CTRL+C to quit)

Но при заходе по адресу: domain.ru:96, выходит: Не удается получить доступ к сайту

[Valentin Barbolin]

Alexej Belkin, 96 это внутренний пор контейнера, надо заходить на 443

[Alexej Belkin]

Andrey Barbolin, разве не 80 и 443 внутренний порт контейнера?
Первая же запись порта - это машины а вторая контейнера. Разве не так?
--
на 443 тоже ничего: Не удается получить доступ к сайту

[Valentin Barbolin]

Alexej Belkin, Да, не досмотрел, наоборот.

services:
  app:
    command: python wsgi_docker.py
   nginx:
      ports:
        - 80:95
        - 443:96
      depends_on:
        - app

[Alexej Belkin]

Andrey Barbolin, Не работает. Может он не видит из-за того что порты в app не указаны? Или там не надо указывать(даже expose) Я понимаю, что в nginx.conf указываем имя сервиса и его порт, который указан в точке входа в app.
Но если напрямую указать порты, то получится что , будем миновать NGINX и сразу уходить в app.
--
PS: меня терзает смутное сомнение, что чего то не хватает в этой цепочки раз не работает... Может надо на сам VDS дополнительно поставить NGINX и в его конфигах указывать редиректы на развернутые контейнеры? Хотя и без этого работает, но только без cсертификатов))))

[Valentin Barbolin]

Alexej Belkin,
> Не работает.
Это конечно очень содержательно.

Попробуй так

server {
    listen 96 ssl;
     server_name my_domain.ru www.my_domain.ru;
   
    ssl_certificate fullchain.pem;
    ssl_certificate_key privkey.pem;
     location / {
        proxy_pass "http://app:8095/";
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
    }
}

[Alexej Belkin]

Andrey Barbolin, Да, так работает а в чем проблема была?
И как он так берет сертификаты? Они же в папке лежат, а тут получается что они в корне nginx. Как они туда попадают?

[Valentin Barbolin]

Alexej Belkin, Очевидно, что вот эта часть не правильно работает. Причин может быть 1000 и 1. Надо читать логи nginx.

location / {
                  include uwsgi_params;
                  uwsgi_pass app:8095;
                 }

[Valentin Barbolin]

Alexej Belkin,
> Получается, что нельзя на одном домене поднять несколько докеров с SSL(раз 443 дам 1му докеру)?
Архитектура такая. Тебе нужен nginx, не важно как он будет запущен (docker или localhost), nginx будет держать сертификат и слушать порты 80 и 443. Т.к. у тебя домен один и порт тоже, то трафик надо рулить url.

services:
  app1:
    command: python wsgi_docker.py
 app2:
    command: python wsgi_docker.py
 app3:
    command: python wsgi_docker.py
   nginx:
      ports:
        - 80:95
        - 443:96
     
server {
    listen 96 ssl;
     server_name my_domain.ru www.my_domain.ru;
   
    ssl_certificate fullchain.pem;
    ssl_certificate_key privkey.pem;

location /app1 {
        proxy_pass "http://app1:8095/";
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
    }
location /app2 {
        proxy_pass "http://app2:8095/";
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
    }
location /app3 {
        proxy_pass "http://app3:8095/";
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
    }
}

Стучаться соответственно на

https://domain.ru/app1
https://domain.ru/app2
https://domain.ru/app3

[Valentin Barbolin]

Alexej Belkin, Или вариант с sub domain

server {
    listen 96 ssl;
     server_name app1.domain.ru;
   
    ssl_certificate fullchain.pem;
    ssl_certificate_key privkey.pem;

location / {
        proxy_pass "http://app1:8095/";
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
    }

server {
    listen 96 ssl;
     server_name app2.domain.ru;
   
    ssl_certificate fullchain.pem;
    ssl_certificate_key privkey.pem;

location / {
        proxy_pass "http://app2:8095/";
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
    }

server {
    listen 96 ssl;
     server_name app3.domain.ru;
   
    ssl_certificate fullchain.pem;
    ssl_certificate_key privkey.pem;

location / {
        proxy_pass "http://app3:8095/";
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
    }

Стучаться соответственно на

https://app1.domain.ru/
https://app2.domain.ru/
https://app3.domain.ru/

[Alexej Belkin]

Andrey Barbolin, Спасибо огромное! Надо было Вам ответом указать, а не комментарием, чтобы я отметил как ответ. Очень меня выручили, а то я 3 день копался никак не мог разрулить.

[Valentin Barbolin]

Alexej Belkin,

> И как он так берет сертификаты? Они же в папке лежат, а тут получается что они в корне nginx. Как они туда попадают?

Вот так и попадают

nginx:
    volumes:
      - ./file_setting/fullchain.pem:/etc/nginx/fullchain.pem
      - ./file_setting/privkey.pem:/etc/nginx/privkey.pem

[Valentin Barbolin]

Alexej Belkin,
> Надо было Вам ответом указать,
добавил как ответ

Answer 1

[Valentin Barbolin]

Рабочий пример.

app.run(host='0.0.0.0', port=8095, debug=False)


services:
  app:
    command: python wsgi_docker.py
nginx:
    volumes:
      - ./file_setting/fullchain.pem:/etc/nginx/fullchain.pem
      - ./file_setting/privkey.pem:/etc/nginx/privkey.pem
    build: ./nginx
    container_name: t_nginx
    restart: always
    ports:
        - 80:95
        - 443:96
    depends_on:
      - app


server {
    listen 95;
    server_name my_domain.ru www.my_domain.ru;
    return 301 https://$host$request_uri;
}
server {
    listen 96 ssl;
    server_name my_domain.ru www.my_domain.ru;

    ssl_certificate fullchain.pem;
    ssl_certificate_key privkey.pem;
    location / {
        proxy_pass "http://app:8095/";
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
    }
}

> Получается, что нельзя на одном домене поднять несколько докеров с SSL(раз 443 дам 1му докеру)?
Архитектура такая. Тебе нужен nginx, не важно как он будет запущен (docker или localhost), nginx будет держать сертификат и слушать порты 80 и 443. Т.к. у тебя домен один и порт тоже, то трафик надо рулить url.

services:
  app1:
    command: python wsgi_docker.py
 app2:
    command: python wsgi_docker.py
 app3:
    command: python wsgi_docker.py
   nginx:
      ports:
        - 80:95
        - 443:96
     
server {
    listen 96 ssl;
     server_name my_domain.ru www.my_domain.ru;
   
    ssl_certificate fullchain.pem;
    ssl_certificate_key privkey.pem;

location /app1 {
        proxy_pass "http://app1:8095/";
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
    }
location /app2 {
        proxy_pass "http://app2:8095/";
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
    }
location /app3 {
        proxy_pass "http://app3:8095/";
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
    }
}

Стучаться соответственно на

https://domain.ru/app1
https://domain.ru/app2
https://domain.ru/app3

Answer 2

[AUser0]

Проверьте содержимое fullchain.pem/privkey.pem, может они пустые?

P.S. HTTPS может работать на любом порту, и на 95, и на 93, и даже на 80.

Comments

[Alexej Belkin]

Проверил. Не пустые.