Postgresql и использование виртуального окружения и docker на одном проекте?

Question

[Jekson]

Локально настраиваю проект для работы с docker и pipenv. В settings.py настроек БД изменил

DATABASES = {
        'default': {
        'ENGINE': 'django.db.backends.postgresql',
        'NAME': 'postgres',
        'USER': 'postgres',
        'PASSWORD': 'postgres',
        'HOST': 'db',
        'PORT': 5432
        }
}

и добавлении в yml файл секции db

docker-compose.yml

version: '3.7'
services:
  web:
    build: .
    command: python /profi/manage.py runserver 0.0.0.0:8000
    environment:
      - SECRET_KEY=dy)zvq+sf07^^456t$$6+mv*tj6#5iwyo896-z!v=h^njl9^&@q
      - DEBUG=1
    volumes:
      - .:/profi
    ports:
      - 8000:8000
    depends_on:
      - db
  db:
    image: postgres:11
    volumes:
      - postgres_data:/var/lib/posgresql/data/

volumes:
  postgres_data:

Если запускаю сервер через docker-compose upто все стартует, только каждый раз надо создавать админа. БД не запоминает данные. Что то не доделал в volumes ?
Но основной вопрос - когда запускаю сервер не испльзуя docker, а через pipenv shell python manage.py runserver то получаю ошибку

django.db.utils.OperationalError: could not translate host name "db" to address: Name or service not known

Что то в docker-compose.yml не правильно? Подскажите пожалуйста что поправить.

Comments

[dpws]

А вы, случайно, не с помощью docker-compose down -v останавливаете контейнеры?
docker-compose.yml выглядит верно

[Jekson]

dpws, docker-compose down использую

[chupasaurus]

когда запускаю сервер не испльзуя docker,

Просто в локальной консоли?

[Jekson]

chupasaurus, да, активирую виртуальное окружение и запускаю сервер

[chupasaurus]

Jekson, Соответственно откуда на вашей машине будет постгрес, доступный по DNS имени db?) Docker Compose поднимает контейнеры в отдельной виртуальной сети, в которую с хоста без ухищрений не попасть, да и порт вы наружу не выставляете (что правильно).

[Swartex]

Jekson, https://docs.docker.com/compose/reference/down/

[Jekson]

Кстати обратил внимание на значение HOST в конфигурации базы. Стояло "HOST": "db". Поменял на 'HOST': 'localhost' и пошло дальше. Сейчас только с password authentication failed for user "postgres" проблема, это и понятно так как не создавал физически пользователя такого. Но теперь через docker не стартует. Вопрос тогда с самой концепцией определения настроек БД: docker использует settings.py или ему надо прописать свои креды в yml файле?

[dpws]

Jekson, Пропишите в конфиг контейнера переменные окружения:

version: '3.7'
services:
  web:
    build: .
    command: python /profi/manage.py runserver 0.0.0.0:8000
    environment:
      - SECRET_KEY=dy)zvq+sf07^^456t$$6+mv*tj6#5iwyo896-z!v=h^njl9^&@q
      - DEBUG=1
    volumes:
      - .:/profi
    ports:
      - 8000:8000
    depends_on:
      - db
  db:
    image: postgres:11
    volumes:
      - postgres_data:/var/lib/posgresql/data/
    environment:
      POSTGRES_USER: app
      POSTGRES_PASSWORD: secret
      POSTGRES_DB: app

volumes:
  postgres_data:

[Jekson]

dpws, получаю

web_1  | django.db.utils.OperationalError: could not connect to server: Connection refused
web_1  |        Is the server running on host "localhost" (127.0.0.1) and accepting
web_1  |        TCP/IP connections on port 5432?
web_1  | could not connect to server: Cannot assign requested address
web_1  |        Is the server running on host "localhost" (::1) and accepting
web_1  |        TCP/IP connections on port 5432?

В settings.py у меня сейчас

DATABASES = {
        'default': {
        'ENGINE': 'django.db.backends.postgresql',
        'NAME': 'postgres',
        'USER': 'postgres',
        'PASSWORD': 'postgres',
        'HOST': 'localhost',
        'PORT': 5432
        }

[dpws]

Jekson, HOST должен быть 'db', т.к. для django localhost - это контейнер web

[Jekson]

dpws, Хм, но со значением db приходим к тому с чего начали. Ошибка при запуске через виртуальное окружение.

[dpws]

Так вы определитесь, вы в докере запускаете или в виртуальном окружении?

[Jekson]

Так в этом и вопрос мой) Как сконфигурировать для запуска двумя способами?

[dpws]

Jekson, Оу, пропустил. Тогда вам надо порт постгреса прокинуть наружу

version: '3.7'
services:
  web:
    build: .
    command: python /profi/manage.py runserver 0.0.0.0:8000
    environment:
      - SECRET_KEY=dy)zvq+sf07^^456t$$6+mv*tj6#5iwyo896-z!v=h^njl9^&@q
      - DEBUG=1
    volumes:
      - .:/profi
    ports:
      - 8000:8000
    depends_on:
      - db
  db:
    image: postgres:11
    volumes:
      - postgres_data:/var/lib/posgresql/data/
    environment:
      POSTGRES_USER: app
      POSTGRES_PASSWORD: secret
      POSTGRES_DB: app
    ports:
      - "5432:5432"

volumes:
  postgres_data:

и тогда в settings.py указывайте localhost

[Jekson]

dpws, сейчас такой лог получаю при запуске через docker

db_1   | 
db_1   | 2020-01-28 09:03:18.408 UTC [1] LOG:  listening on IPv4 address "0.0.0.0", port 5432
db_1   | 2020-01-28 09:03:18.408 UTC [1] LOG:  listening on IPv6 address "::", port 5432
db_1   | 2020-01-28 09:03:18.425 UTC [1] LOG:  listening on Unix socket "/var/run/postgresql/.s.PGSQL.5432"
db_1   | 2020-01-28 09:03:18.454 UTC [64] LOG:  database system was shut down at 2020-01-28 09:03:18 UTC
db_1   | 2020-01-28 09:03:18.462 UTC [1] LOG:  database system is ready to accept connections
....
web_1  |        Is the server running on host "localhost" (127.0.0.1) and accepting
web_1  |        TCP/IP connections on port 5432?
web_1  | could not connect to server: Cannot assign requested address
web_1  |        Is the server running on host "localhost" (::1) and accepting
web_1  |        TCP/IP connections on port 5432?

и при запуске через ВО

django.db.utils.OperationalError: could not connect to server: Connection refused
        Is the server running on host "localhost" (127.0.0.1) and accepting
        TCP/IP connections on port 5432?

[dpws]

Jekson, Вам, для запуска в виртуальном окружении, необходимо докер стартануть или установить постгрес локально. Сейчас, судя по всему, контейнеры выключены

[Jekson]

dpws, да при запущеных контейнерах из ВО стартует до этапа аутентификации, а в докере таже ошибка

[dpws]

Jekson, При запуске в докере вам надо переопределить хост в settings.py на bd. Например, через переменные окружения или через разные конфиги для venv/docker

[Jekson]

dpws, Сделал так в settings.py

DATABASES = {
        'default': {
        'ENGINE': 'django.db.backends.postgresql_psycopg2',
        'NAME': os.environ.get('POSTGRES_DB', default='postgres'),
        'USER': os.environ.get('POSTGRES_USER', default='postgres'),
        'PASSWORD': os.environ.get('POSTGRES_PASSWORD', default='postgres'),
        'HOST': os.environ.get('POSTGRES_HOST', default='localhost'),
        'PORT': "5432"
        }
}

и в yml

db:
    image: postgres:11
    volumes:
      - postgres_data:/var/lib/posgresql/data/
    environment:
      POSTGRES_USER: postgres
      POSTGRES_PASSWORD: postgres
      POSTGRES_DB: postgres
      POSTGRESS_HOST: db
    ports:
      - "5432:5432"

Сейчас везде

Is the server running on host "localhost" (127.0.0.1) and accepting
        TCP/IP connections on port 5432?

Не понимаю почему даже кошда я в settings.py меняю PORT: "5432" на например PORT:"" все равно ошибка тааже, т.е связана с портом 5432. Откуда django берет это значение.

[dpws]

Jekson, вы переменную окружения POSTGRESS_HOST: db не тому контейнеру указали. С кодом работает web, ему и указывайте ;)

[dpws]

Jekson, Кстати, у вас в docker-compose POSTGRESS_HOST, а в конфиге POSTGRES_HOST

Про django ничего не скажу, но могу предположить, что конфиг закеширован. Или используются разные конфиги для окружений, например settings.dev.py. В этом случае settings.dev.py будет перезаписывать settings.py

[Jekson]

dpws, да при добавлении в web из под докера все запускается.

web:
    build: .
    command: python /profi/manage.py runserver 0.0.0.0:8000
    environment:
#      DJANGO_SETTINGS_MODULE: "project.settings.development"
      DEBUG: 1
      POSTGRES_USER: postgres
      POSTGRES_PASSWORD: postgres
      POSTGRES_DB: postgres
      POSTGRES_HOST: db

Осталось понять как запустить в ВО ))

Answer 1

[Jekson]

В итоге рабочая конфигурация такая

docker-compose.yml

version: '3.7'
services:
  web:
    build: .
    command: python /profi/manage.py runserver 0.0.0.0:8000
    environment:
#      DJANGO_SETTINGS_MODULE: "project.settings.development"
      DEBUG: 1
      POSTGRES_USER: postgres
      POSTGRES_PASSWORD: postgres
      POSTGRES_DB: postgres
      POSTGRES_HOST: db

    volumes:
      - .:/profi
    ports:
      - "${HTTP_PORT:-8000}:8000"
    depends_on:
      - db
  db:
    image: postgres:11
    volumes:
      - postgres_data:/var/lib/posgresql/data/
    environment:
      POSTGRES_USER: postgres
      POSTGRES_PASSWORD: postgres
      POSTGRES_DB: postgres
      POSTGRES_HOST: db
    ports:
      - "${DB_PORT:-5432}:5432"

volumes:
  postgres_data:

settings.py

DATABASES = {
        'default': {
        'ENGINE': 'django.db.backends.postgresql_psycopg2',
        'NAME': os.environ.get('POSTGRES_DB', default='postgres'),
        'USER': os.environ.get('POSTGRES_USER', default='postgres'),
        'PASSWORD': os.environ.get('POSTGRES_PASSWORD', default='postgres'),
        'HOST': os.environ.get('POSTGRES_HOST', default='localhost'),
        'PORT': "5432"
        }
}