Docker и загрузка больших sql файлов?

Question

[Елена]

В миграциях приходится загружать большие sql файлы. Нашла команду для убыстрения этого процесса:

cat test.sql | docker exec -i name_container_db_host_1 psql -U name_user -d name_db

При этом команда запускается в каталоге, где этот файл находится.
Но все-равно это всё долго. Нашла еще одну команду:

docker exec -i name_container_db_host_1 psql -U name_user -d name_db -f test.sql

Как я поняла она должна выполняться быстрее. Но вот тут проблема с путем до файла. Не могу сообразить какой нужен. А в таком виде пишет, что файл не найден.

Comments

[lega]

Как я поняла она должна выполняться быстрее

Почему? Должно быть примерно одинаково.

[Елена]

lega, мне дали такой код
psql -U name_user -d name_db -f test.sql
и сказали, что очень быстро отрабатывает. Но вот пояснить отказались. Как это прикрутить к контейнеру?

[lega]

Елена, "очень быстро" может означать например 2 часа вместо 2х недель,
так что ваш 1й вариант работает быстро, он тоже работает через psql, поэтому результат будет тот же.

какой размер файла или сколько времени грузиться?

[Елена]

lega, файлы до 130 метров. Долго- 4 часа. Было сказано, что за 10 минут можно всё сделать.

[lega]

Елена, да, 130М лолжны быстро, за секунды

можете скопировать файл внутрь контейнера (docker cp file container:/file), что бы проверить psql напрямую, но проблема должна быть не в этом, может сервер дохлый или памяти не хватает

[Елена]

lega, не за секунды, минут 15-20 нужно.

Answer 1

[chupasaurus]

Для того, чтобы во второй команде контейнер увидел файл, его (файл) нужно поместить в уже существующий bind mount (в случае с PG это как правило хостовая директория, в которую маппится в контейнере /var/lib/postgresql/data), других способов нет.

Comments

[Елена]

Можно тут поподробнее, с командой. Я с докером не так давно работаю. Внутрь контейнера я захожу и с базой работаю. А вот тут пока пробелы в знаниях.

[chupasaurus]

Елена, bind mount - это когда директория с хоста или volume с именем (docker volume create такие создаёт) цепляются к контейнеру при его создании с помощью параметра -v в случае с docker create/run или параметром volumes в docker-compose.yml.
Дефолтный образ postgresql емнип создаёт свой том под собственно базу, но его имя надо искать в docker inspect container-name, в принципе можно скопировать файл туда.
Алсо, поправил в ответе путь для данных из официального docker-образа.

[Елена]

chupasaurus, спасибо, так поняла. Но даст ли 2-я команда увеличение скорости по сравнению с первой?

[Елена]

chupasaurus, файл перекинула, но команда его не видит. Сделала по другому - зашла в докер и там запустила консольно команду
psql -U name_user -d name_db -f test.sql
И вот так как раз я и получила ускорение.

[chupasaurus]

Елена, возможно psql захотел запускаться через docker exec -it, без -t команды выполняются как и службы без виртуального терминала.