Как эффективно использовать Docker + Docker-compose при разработке?

Question

[Max Payne]

С докером никогда плотно не работал и сейчас в этом появилась необходимость, так как в будущем приложение нужно будет развернуть на удаленном сервере.
Накидал небольшой docker-compose основываясь на знаних с прочитанной информации

docker-compose.yaml

version: '3'

services:
  parser:
    build: ./parser
    restart: always
    container_name: JaScrapy01
    depends_on:
      - postgres
      - redis
    volumes:
      - ./parser:/JaScrapy
    networks:
      - net
    env_file:
      - .env
  postgres:
    image: postgres:11.3-alpine
    restart: always
    container_name: postgres01
    networks:
      - net
    volumes:
      - ./postgres/data:/var/lib/postgresql/data
    env_file:
      - .env
  redis:
    image: redis:5.0.5-alpine
    restart: always
    container_name: redis01
    networks:
      - net
    volumes:
      - ./redis/data:/data
    env_file:
      - .env

networks:
  net:

Но ведь это оказывается очень неудобно! Да, поднимаются сами контейнеры с postgresql и redis, это удобно, но к ним нельзя подключиться извне (из-за использования networks, а как открыть нетворк - догадаться нужно самому), допустим для просмотра информации через GUI. При внесении каких-то изменений в основное приложение -- можно лишь надеяться что они когда-то появятся в контейнере. Можно пять раз удалить контейнер с приложением, потом десять раз удалить образ -- никакие изменения никуда не попадут. Использовать при этом виртуальное окружение на локальной машине, запуская приложение через него - нельзя, потому что нетворк баз данных где-то там локальный. Pycharm может использовать интерпретатор, работающий внутри контейнера - но это сконнектилось когда давно один единственный раз и после этого выдаются только java-ошибки PyCharm'а.

Собственно, вопрос, как эффективно и удобно работать с этим?

Comments

[Igor Deyashkin]

Я бы на вашем месте переформулировал вопрос в виде "Как мне сделать ...?". Потому что сейчас вы пишете примерно следующее: "Я не понимаю что я делаю и это нифига не удобно, как мне сделать удобно?". Но сложно ответить на вопрос как сделать удобно, если не известно что вы хотите сделать. Добавьте больше конкретики. Какие у вас проблемы возникают без использования докера? Возможно, они решаются и без него. Например, с помощью virtualenv или ansible.

[Max Payne]

Igor Deyashkin, проблем вне докера у меня нет)) а с ним есть потому, что для меня это новая технология и в данный момент она мне кажется неудобной, несмотря на просмотренные видеоуроки, прочитанную документацию и иную литературу.

Answer 1

[Владимир Куц]

но к ним нельзя подключиться извне (из-за использования networks, а как открыть нетворк -
догадаться нужно самому)

А через директивы ports - разве не прокидываются нужные порты из контейнеров наружу?

При внесении каких-то изменений в основное приложение
можно лишь надеяться что они когда-то появятся в контейнере

Если вы вносите изменения в проект который примаплен через volume - то контейнер их тут же видит.
Умеет ли ваше приложение видеть что локальные файлы изменились, и применять их - это уже другой вопрос.
Но даже если не умеет - нет никаких проблем перестартануть нужный контейнер после внесения каких-либо изменений.

Можно пять раз удалить контейнер с приложением, потом десять раз удалить образ
никакие изменения никуда не попадут.

Не знаю как у вас построено - но приведу насчет примеров с проектами на python.
В Python создается папка с виртуальным окружением, куда устанавливаются все необходимые библиотеки для работы. Эта папка мапится вместе с проектом в контейнер. При этом используется контейнер python из стандартного образа на все проекты, а виртуальное окружение - из примапленной директории. Нет необходимости ничего дополнительно устанавливать в контейнеры. Поэтому что вы там пытаетесь делать с образами - непонятно...

Использовать при этом виртуальное окружение на локальной машине, запуская приложение через него - нельзя,
потому что нетворк баз данных где-то там локальный.

Ну тут определиться - используете докер для этого, или виртуальное окружение на своей машине.
Если хотите одновременно использовать и то и другое - прокидывайте порты.

Comments

[Max Payne]

Если вы вносите изменения в проект который примаплен через volume - то контейнер их тут же видит.
Умеет ли ваше приложение видеть что локальные файлы изменились, и применять их - это уже другой вопрос.

Неправда. Задеплоил приложение - чтобы хоть какие-то изменения посмотреть - нужно потратить минут 10, чтобы во-первых удалить все контейнеры руками, потом удалить все образы руками, потом собрать заново.

[Владимир Куц]

Max Payne,
Ну не знаю - что я не так делаю, что у меня видится все?

$ cat docker-compose.yml

version: '3.1'
services:

  test:
    image: python:3
    container_name: test-p3
    volumes:
      - ./somedir:/opt/my_project
    entrypoint: tail -f /dev/null

$ mkdir somedir
$ docker-compose up -d
Creating network "00001_default" with the default driver
Creating test-p3 ... done
$ ls ./somedir/
$ docker exec -ti test-p3 ls /opt/my_project/
$ touch ./somedir/1.txt
$ docker exec -ti test-p3 ls /opt/my_project/
1.txt
$ docker exec -ti test-p3 cat /opt/my_project/1.txt
$
$ echo "test test" > ./somedir/1.txt
$ docker exec -ti test-p3 cat /opt/my_project/1.txt
test test

Вы в вопросе не указали свою систему. Вероятно у вас докер устанавливается через какие-то костыли, из-за которых все ваши неудобства.

[Igor Deyashkin]

> Неправда. Задеплоил приложение - чтобы хоть какие-то изменения посмотреть - нужно потратить минут 10, чтобы во-первых удалить все контейнеры руками, потом удалить все образы руками, потом собрать заново.

Вы вот серьезно? То что вам нужно тратить десять минут на то, чтобы какие-то изменения увидеть не делает слова Владимира "неправдой". Вы с таким отношением отобьете у всех желание вам отвечать. Выглядит примерно так:
- О, этот молоток ужасно неудобная штука, я не могу им ничего забить. Как вы им пользуетесь?
- Берем его за рукоятку и бьем по шляпке гвоздя, который хотим забить - гвоздь замечательно вбивается.
- А вот неправда! Я 10 минут забивал гвоздь во что-то и он весь погнулся!

Ну как-бы да, если вы его забиваете в металл - это вполне ожидаемо, например. И это не значит, что молоток используемый по назначению "не работает". Пишите больше по делу. Чего вы пытаетесь добиться и что конкретно у вас не получается. Не нужно оценивать слова более опытных людей - вы пока не можете это адекватно сделать.

Answer 2

[de1m]

Как-то вы не очень разобрались.
Выкиньте "networks:". В вашем случае он не нужен.
Добавте "ports", там где вы хотите пользоваться пользоваться сервисом. К примеру в postgresql контейнере.
Вот этот файл ".env" выкиньте его тоже, если у вас не много переменных впишите их так.

Вообще делать контейнер для не доконца работающей программы слысла нет. Можно поднять базу данных и всякие вдругие сервисы, а саму программу запускать локально и пусть она обращается к тому, что крутся в контейнерах. Когда будет готова первая версия, её можно уже будет завернуть в контейнер.