Куда положить dump.sql для автоподнятия БД с нужного дампа Docker?

Question

[Senture]

Читаю статью по поднятию postgres в Docker.

До момента "А куда сохраняются мои данные?" и подключению volumes. бэкап файл лежит рядом с docker-compose.yml и при поднятия приложения, бэкап успешно накатывается. Далее нужно подключить волюмы что-бы новые данные после растарта приложения не пропадали.

код который у меня работает:

version: "2.15.1"

services:
  postgres:
    image: postgres:13.3
    environment:
      POSTGRES_DB: "username"
      POSTGRES_USER: "username"
      POSTGRES_PASSWORD: "username"
    volumes:
      - .:/docker-entrypoint-initdb.d # не знаю для чего указывать эту дерикторию, если дамп и так накатывается лежа рядом с docker-compose -_-
    ports:
      - "5437:5432"

Далее добавляю пару строк (пометил комментариями):

version: "2.15.1"

services:
  postgres:
    image: postgres:13.3
    environment:
      POSTGRES_DB: "username"
      POSTGRES_USER: "username"
      POSTGRES_PASSWORD: "username"
    volumes:
      - ../2. Init Database:/docker-entrypoint-initdb.d # edited
      - username-data:/var/lib/postgresql/data # new
    ports:
      - "5437:5432"

volumes: # new
  username-data: # new

данные теперь сохраняются, но бэкап не накатывается, не понимаю что за путь и где эту папку создавать "../2. Init Database:/docker-entrypoint-initdb.d".

Здесь наблюдается явный пробел в знаниях(которых и так мало) по Docker. Посоветуйте в какую сторону капать или что еще доп почитать, для понимания решения задачки.

Всем огромное спасибо!

Comments

[сергей кузьмин]

для чего указывать эту дерикторию ? важна правая часть
наблюдается явный пробел в знаниях ? саморкитика это хорошо
но

https://stackoverflow.com/questions/59715622/docke...
говорит что и о и другое нельзя

Warning: scripts in /docker-entrypoint-initdb.d are only run if you start the container with a data directory that is empty; any pre-existing database will be left untouched on container startup.

что вам мешает запустить руками , если надо ?
docker exec -it $NAME sh

psql -h localhost -p 5432 --username habrpguser --password -d habrdb </docker-entrypoint-initdb.d/init.sql

если помогло - я положу в ответы вы отметите решением

[Senture]

сергей кузьмин, Спасибо большое за ответ, ознакомился. Действительно, директорию указывать не нужно было, запутался в записях пути и двоеточии, не до конца понимая для чего это все)

Решение я написал от себя, то, что подошло и подходит мне(критику с удовольствием приму).

Почему нужно именно в docker-compose, т.к. помимо базы там будет лежать frontend и backend, и вероятно что то еще добавится, для быстрого развертывания приложения на сервере.

По поводу того, что бэкап накатится всего 1 раз при инициализации, в курсе, данный вариант мне подходит.

Читал еще, что БД контейнеризировать не есть хорошо(на проде), планирую сейчас закрыть глаза на данный совет, а позже БД перенести с ВМ в облако yandex.cloud.

[сергей кузьмин]

попробуйте оснатовить композ

docker-compose stop
docker-compose rm -f
docker-compose up --build

и пересоздать и смотрите логи внимательно

подозравею что так как volume останется то появится проблема которая описнаа в стак оверфло

basic-postgresql-docker-compose-postgres-1  | PostgreSQL Database directory appears to contain a database; Skipping initialization

совернешшо точно
БД контейнеризировать не есть хорошо
потому что грубо говоря контейнер
это не виртуалька с состояерем а деплоймент то есть процесс упкаовки

[Senture]

сергей кузьмин, хммм... Интересно, stop я не пробовал. Обязательно попробую и о результате отпишусь, позже, вероятно завтра.

[сергей кузьмин]

докер это протсо уставщикно
что от может хорошо ?

может установить может и удалить
может включить может и выключить

многие объясняют что для бд это функчиональности маловато

https://www.youtube.com/watch?v=5gRQN9WxsIk

[Senture]

сергей кузьмин, нет, проблемы нет, возможно потому, что при выполнение docker-compose rm -f выводится следующее сообщение: "No stopped containers", хотя делаю docker-compose down, docker-compose stop и дальше по вашему списку команд. Приложение поднимается, и полностью работает, бэкап накатывается, в логах ничего подобного не заметил.

[сергей кузьмин]

написано собственно самим постгесом предупреждение
https://hub.docker.com/_/postgres


Warning: scripts in /docker-entrypoint-initdb.d are only run if you start the container with a data directory that is empty; any pre-existing database will be left untouched on container startup. One common problem is that if one of your /docker-entrypoint-initdb.d scripts fails (which will cause the entrypoint script to exit) and your orchestrator restarts the container with the already initialized data directory, it will not continue on with your scripts.

именно поэтому для надежной работы *многие* пишут *свои* шел скрипты и не ожидают многого от дефолтных в docker-entrypoint-initdb.d
не говоря уж о том что волюмы не работают или плохо работают в старых виндоз и Docker Toolbox

[Senture]

сергей кузьмин, в целом я готов взять эти риски на себя, т.к. бэкап накатывать нужно 1 раз при первой настройки ВМ, дальше только миграции удаленно. Согласен, не очень надежно это все выглядит, постараюсь быстрее перевезти БД в облако :) Спасибо, интересный диалог вышел, и очень познавательный, для меня)

Answer 1

[Senture]

Разобрался.

Вот мой код:

version: "2.15.1"

services:
  postgres:
    image: postgres:13.3
    environment:
      POSTGRES_DB: "username"
      POSTGRES_USER: "username"
      POSTGRES_PASSWORD: "username"
      PGDATA: "/var/lib/postgresql/data/pgdata"
    volumes:
      - ./Initer:/docker-entrypoint-initdb.d
      - usr-data:/var/lib/postgresql/data
    ports:
      - "5437:5432"

volumes:
  usr-data:

В этом случае, нужно создать директорию Initer в корне (где лежит docker-compose.yml) и в нее положить необходимый dump.sql и все работает.

Важно!: Если папку не создать, она появится автоматически после docker-compose up. Но будет естественно пустой, и даже если сделать down, в папку положить дамп, и поднять приложение (docker-compose up) бэкап уже не накатится, т.к. БД уже была проинициализирована ранее и никакие изменения к ней применяться не будут.

Прошу прощения за такие глупые вопросы :D

Comments

[Михаил Ливач]

а Вы после down ещё удалите volume usr-data и будет счастье. ( потому что базе придётся инициализироваться заново).

P.S. не советую пользоваться автоматически созданными volume - если это только не именно то, что Вам нужно.
Потому что, упрощённо, они хранятся "не пойми где", занимают места "не пойми сколько" и о них очень легко забыть.
Действуйте по подобию папки Initer , и при удалении проекта не придётся беспокоиться о таких вещах.

[Senture]

Михаил Ливач, воу, интересно. т.е. мне достаточно заменить это:
- usr-data:/var/lib/postgresql/data

на это?
./Db:/var/lib/postgresql/data

И в папке Db будет все необходимое?
Сейчас далеко от компа, не могу проверить.

[Михаил Ливач]

Senture, да. Я использую контейнер с Mysql, и после запуска владельцем папки Db становится systemd-coredump , потому что его uid 999, а в контейнере такой uid у пользователя mysql . Это единственное неудобство, что удалять Db (или всю папку проекта) приходится из-под root

[SKY-SHY]

Михаил Ливач, а у меня так не получилось. Судя по всему, явное задание директории на хосте:

./Db:/var/lib/postgresql/data

работает с переменным "успехом"

[Михаил Ливач]

SKY-SHY, не могу проверить для postgres, потому что с ним не работаю, работаю с mysql. Ещё раз формализую задачу:
"в определённых случаях нужно, чтобы при запуске контейнера происходило полное пересоздание базы (или нескольких баз) из дампа. Данные контейнера от предыдущего запуска будут полностью потеряны, и это нормально".
тогда вот фрагмент docker-compose.yml:

db:
    image: "mariadb"
    environment:
      MYSQL_ROOT_PASSWORD: "mysqlpass"
    volumes:
      - ./backup:/docker-entrypoint-initdb.d
      - ./dbdata:/var/lib/mysql
    expose:
      - 3306

Чтобы сработало, как нужно, перед запуском достаточно полностью удалить на хосте папку ./dbdata

[Senture]

Михаил Ливач, поддерживаю, проверил с postgres, все работает.