Проксирование запросов к двум сервисам основываясь на пути маршрута?

Question

[Алексей]

Имеется следующее приложение (микросервисная архитектура)

CONTAINER ID   IMAGE                  COMMAND                  CREATED         STATUS                   PORTS                                                 NAMES
18f0c0aa0e82   nginx_proxy            "nginx"                  3 minutes ago   Up 3 minutes             0.0.0.0:8080->80/tcp                                  reverse-proxy
64d8d6324ff8   mailing_service        "docker-entrypoint.s…"   3 minutes ago   Up 3 minutes                                                                   mailing_srv
8412a4d6cc68   auth_service           "docker-entrypoint.s…"   3 minutes ago   Up 3 minutes             0.0.0.0:8081->8080/tcp                                auth_srv
9263eed81952   api_service            "docker-entrypoint.s…"   3 minutes ago   Up 3 minutes             0.0.0.0:8082->8080/tcp                                api_srv
0113cc7e4c5e   postgres:12.6-alpine   "docker-entrypoint.s…"   3 minutes ago   Up 3 minutes (healthy)   5432/tcp                                              welbex-users_pg-1
fb3824b208d8   rabbitmq:3.10-alpine   "docker-entrypoint.s…"   3 minutes ago   Up 3 minutes (healthy)   4369/tcp, 5671-5672/tcp, 15691-15692/tcp, 25672/tcp   welbex-rabbitmq-1
dc641c60feb3   postgres:12.6-alpine   "docker-entrypoint.s…"   3 minutes ago   Up 3 minutes (healthy)   5432/tcp

каждый сервис, соответственно в своем контейнере. Наружу, сейчас выглядывают nginx_proxy (localhost:8080), auth_service (localhost:8081) и api_service (localhost:8082). Мне нужно добиться следующей маршрутиризации:

localhost:8080/auth -> auth_service
localhost:8080/api -> api_service

Будет ли это проксирование снаружи, на хост машине происходить или internal, через какие-нибудь бриджи сути не играет. Совсем потерялся в docker networks. Надеюсь, найдется тот кто шарит!

Answer 1

[akelsey]

Делаете reverse-proxy на nginx, где по доменному имени (не localhost) делаете прокси в нужный контейнер. Докер тут не причём.

server {
    listen 8080;
    server_name my-server.ru ;

   location /auth {
        proxy_pass http://auth_service:8081;
....
   location /api {
        proxy_pass http://api_service:8082;

Comments

[Алексей]

Вопрос как раз именно в этом, все сервисы и даже ngix должны быть инкапсулированны в контейнеры. Docker здесь играет главную скрипку!

[akelsey]

Алексей, а запросы то откуда на бэкэнд ваш?

даже ngix должны быть инкапсулированны в контейнеры

nginx пусть в докере стоит, никто не запрещает

[Алексей]

В конкретном случае, все происходит на локалке Postmanom шлю запросы

[akelsey]

Алексей,

В конкретном случае, все происходит на локалке Postmanom шлю запросы

в любом случае у вас будет общая точка входа на порт 8080 будет. там висит nginx, нужно что бы он работал как reverse-proxy к контейнерам, вы можете снаружи использовать localhost, но почему предлагаю сделать имя, т.к. из контейнера по localhost:8080 не выйдет обратиться.
шаблон как действовать я вам написал в ответе

[Алексей]

akelsey, так вот, как настроить сеть? nginx в своем контейнере не видит сервисы. У меня как раз проблема с настройкой сети между этими тремя сущностями (reverse-proxy, auth-service, api-service).

[akelsey]

Алексей, если хотите что бы все работало на локалхост и в контейнерах, то в докер композе используйте network_mode: host
тогда всё будет работать. (но это плохой совет, и на реальной инфраструктуре так делать не нужно конечно без необходимости, ибо вся прелесть контейнеризации в виде изоляции пропадает, только для тестов)

[Алексей]

akelsey, я так и делал, но почему то ngix отвечает 404 и запрос до сервисов вообще не доходит.

[Алексей]

akelsey, может что-нибудь подскажет мой docker-compose.yml, что-то не так делаю?

version: "3"
services:
  rabbitmq:
    image: rabbitmq:3.10-alpine
    command: rabbitmq-server
    restart: unless-stopped
    healthcheck:
      test: [ "CMD", "nc", "-z", "localhost", "5672" ]
      interval: 5s
      timeout: 15s
      retries: 5
    networks:
      - net_amqp_broker
  records_pg:
    image: postgres:12.6-alpine
    restart: unless-stopped
    environment:
      - PGDATA=/var/lib/postgresql/data/records_data
      - POSTGRES_USER=$PG_RECORDS_USER
      - POSTGRES_PASSWORD=$PG_RECORDS_PASSWORD
      - POSTGRES_DB=$PG_RECORDS_DB
    volumes:
      - db_records:/var/lib/postgresql/data/records_data
    healthcheck:
      test: pg_isready -q -d $PG_RECORDS_DB -U $PG_RECORDS_USER
      interval: 10s
      timeout: 5s
      retries: 5
    networks:
      - net_records_db
  users_pg:
    image: postgres:12.6-alpine
    restart: unless-stopped
    environment:
      - PGDATA=/var/lib/postgresql/data/users_data
      - POSTGRES_USER=$PG_USERS_USER
      - POSTGRES_PASSWORD=$PG_USERS_PASSWORD
      - POSTGRES_DB=$PG_USERS_DB
    volumes:
      - db_users:/var/lib/postgresql/data/users_data
    healthcheck:
      test: pg_isready -q -d $PG_USERS_DB -U $PG_USERS_USER
      interval: 10s
      timeout: 5s
      retries: 5
    networks:
      - net_users_db
  mailing:
    container_name: mailing_srv
    restart: always
    env_file: ./.env
    depends_on:
      rabbitmq:
        condition: service_healthy
    build:
      context: ./mailing
    environment:
      - RMQ_USER=${RABBITMQ_DEFAULT_USER:-guest}
      - RMQ_PASS=${RABBITMQ_DEFAULT_PASS:-guest}
      - RMQ_HOST=${RABBITMQ_DEFAULT_HOST:-rabbitmq}
      - RMQ_PORT=${RABBITMQ_DEFAULT_PORT:-5672}
    networks:
      - net_amqp_broker
  records:
    container_name: records_srv
    restart: always
    env_file: ./.env
    depends_on:
      records_pg:
        condition: service_healthy
    build:
      context: ./records
    ports:
      - $RECORDS_HOST_PORT:$RECORDS_DOCKER_PORT
    environment:
      - PG_HOST=records_pg
      - PG_PORT=$PG_RECORDS_DOCKER_PORT
      - PG_USER=$PG_RECORDS_USER
      - PG_PASSWORD=$PG_RECORDS_PASSWORD
      - PG_DB=$PG_RECORDS_DB
    networks:
      - net_records_db
      - net_proxy
#      - net_records
  users:
    container_name: users_srv
    restart: always
    env_file: ./.env
    depends_on:
      users_pg:
        condition: service_healthy
      rabbitmq:
        condition: service_healthy
    build:
      context: ./users
    ports:
      - $USERS_HOST_PORT:$USERS_DOCKER_PORT
    environment:
      - RMQ_USER=${RABBITMQ_DEFAULT_USER:-guest}
      - RMQ_PASS=${RABBITMQ_DEFAULT_PASS:-guest}
      - RMQ_HOST=${RABBITMQ_DEFAULT_HOST:-rabbitmq}
      - RMQ_PORT=${RABBITMQ_DEFAULT_PORT:-5672}
      - PG_HOST=users_pg
      - PG_PORT=$PG_USERS_DOCKER_PORT
      - PG_USER=$PG_USERS_USER
      - PG_PASSWORD=$PG_USERS_PASSWORD
      - PG_DB=$PG_USERS_DB
    networks:
      - net_amqp_broker
      - net_users_db
      - net_proxy
#      - net_users
  nginx_proxy:
    container_name: reverse-proxy
    build:
      context: ./proxy
    depends_on:
      - records
      - users
    ports:
      - 8080:80
    networks:
      - net_proxy
#    networks:
#      - net_records
#      - net_users
volumes:
  db_records:
  db_users:
networks:
  net_records_db:
    driver: bridge
  net_users_db:
    driver: bridge
  net_amqp_broker:
    driver: bridge
  net_proxy:
#  net_records:
#    name: net_records_default
#  net_users:
#    name: net_users_default

[akelsey]

Алексей, а для чего вы делаете такое кол-во сетей в одном композе? не хочется разбираться в куче ваших сервисов, у вас реальная необходимость делать изоляцию всех контейнеров? даже если так, то упростите конфу для тестов, до одной сети, убедитесь что работает, потом добавляйте сети.

[Алексей]

Все работает, причем уже в связке, протестировано. В это и есть то что вы сказали "потом добавляйте сети", последний штрих остался - добавить proxy. И вот его у меня не получается настроить.

[akelsey]

Алексей,

Все работает, причем уже в связке, протестировано.

но я не вижу в docker-compose ни api ни auth сервисов. и всё работает это что, контейнеры поднялись?

[akelsey]

тогда и на конфигурацию nginx неплохо бы взглянуть

[Алексей]

akelsey, буду ковырять дальше... это я уж от отчаяния вопрос сюда задал :) весь день сижу над этим вопросом. А само приложение не сложное - сервис авторизации и сервис отдающий контент. Создается учетка пользователя и авторизация его, это в сервисе auth_service (jwt). И потом с токеном обращаешься к api для получения данных. Почему расплодилось много сервисов - после создания учетной записи (signup), необходимо отправить письмо пользователю. Вот и появляется mailer, он в свою очередь работает через очередь RabbitMQ и еще условие, каждый сервис (auth_service, api_service) должен работать со своей БД. Вот такая архитектура!

[Алексей]

akelsey, да контейнеры поднимаются и не падают, а конфиг ngix как раз такой, какой ты и в примере дал

[Алексей]

akelsey, я даже могу слать запросы по отдельности для каждого сервиса и все отрабатывает на ура. только приходится порты менять с 8081 на 8082 при обращении к соответствующим сервисам. А задумка именно - один хост, один порт и только пути разные должны быть /auth и /api

[akelsey]

Алексей,

я даже могу слать запросы по отдельности для каждого сервиса и все отрабатывает на ура. только приходится порты менять с 8081 на 8082 при обращении к соответствующим сервисам. А задумка именно - один хост, один порт и только пути разные должны быть /auth и /api

да я понял задумку, даже пытался помочь -) пробуйте диагностировать прямо с контейнера nginx проверять курлом запросы к 8081 и 8082 (внутри контейнеров надеюсь они эти же порты слушают?).
curl auth_service:8081

[Алексей]

akelsey, нет внутри оба сервиса висят на 8080. 8081 и 8082 это проброс портов наружу. Но я пробовал уже курлом из контейнера с nginx обращаться к сервисам, например так docker exec -it reverse-proxy curl users:8080/auth
ответ

<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Error</title>
</head>
<body>
<pre>Cannot GET /auth</pre>
</body>
</html>

но это логично, запрос /auth - это POST запрос

[akelsey]

Алексей, тогда и на nginx нужно проксировать туда же:

location /auth {
        proxy_pass http://auth_service:8080/auth/;

auth_service:8080/auth/

[Алексей]

akelsey, странность какая-то. Пробую опять курлом из контейнера nginx, теперь уже именно POST запрос
для теста, в сервисе авторизации воткнул маршрут для любого пути и просто шлю некорректный запрос /auth/sign, такого нет, есть /auth/signup. Это специально, чтобы попасть на тестовый маршрут. Получается, но это из контейнера. А если шлю из постмана (снаружи) то нет, отвечает мне nginx (404), а не сервис авторизации.

docker exec -it reverse-proxy curl -X POST http://auth_service:8080/auth/sign
// {"message":"ok"}

[Алексей]

akelsey, в чем была причина, до конца не понял. Но сделал. Я ведь изначально в Dockerfile просто примешивал конфигурацию к дефолтному конфигу nginx, по типу:
ADD nginx.conf /etc/nginx/conf.d/default.conf
сейчас полностью подменил дефолтный конфиг на свой и все заработало

RUN rm /etc/nginx/sites-available/default
COPY nginx.conf /etc/nginx/sites-available/default

[akelsey]

Алексей, по этому я и просил конфиг нджинкса, но т.к. было сказано что всё так же, даже не мог подумать об этом.
Вообще лучше конечно conf.d локально хранить и маунтить, а не пихать в имидж.