Почему внутри Docker-контейнера не устанавливаются все зависимости из requirements.txt?

Question

[Max Payne]

Есть вот такие файлы

docker-compose.yaml

version: '3'

services:
  postgres:
    image: postgres:11.3-alpine
    container_name: postgres01
    networks:
      - net
    volumes:
      - ./postgres-data:/var/lib/postgresql/data
  redis:
    image: redis:5.0.5-alpine
    container_name: redis01
    networks:
      - net
    volumes:
      - ./redis-data:/data
  parser:
    build: ./
    container_name: parser
    depends_on:
      - postgres
      - redis
    volumes:
      - ./:/parser
    restart: always
    networks:
      - net

networks:
  net:

Dockerfile

FROM python:3.7.3
WORKDIR /parser
ADD requirements.txt ./
RUN pip install --no-cache-dir -r requirements.txt
ADD . .
# ENTRYPOINT [ "python", "./start.py" ]
RUN python start.py

requirements.txt

asn1crypto==0.24.0
attrs==19.1.0
Automat==0.7.0
cachetools==3.1.1
certifi==2019.3.9
cffi==1.12.3
chardet==3.0.4
constantly==15.1.0
cryptography==2.7
cssselect==1.0.3
google-api-core==1.11.1
google-auth==1.6.3
google-cloud-bigquery==1.13.0
google-cloud-core==1.0.1
google-resumable-media==0.3.2
googleapis-common-protos==1.6.0
hyperlink==19.0.0
idna==2.8
incremental==17.5.0
lxml==4.3.3
parsel==1.5.1
peewee==3.9.5
protobuf==3.8.0
psycopg2-binary==2.8.2
pyasn1==0.4.5
pyasn1-modules==0.2.5
pycparser==2.19
PyDispatcher==2.0.5
PyHamcrest==1.9.0
pyOpenSSL==19.0.0
pytz==2019.1
queuelib==1.5.0
redis==3.2.1
requests==2.22.0
rsa==4.0
Scrapy==1.6.0
service-identity==18.1.0
six==1.12.0
Twisted==19.2.0
urllib3==1.25.3
w3lib==1.20.0
zope.interface==4.6.0

Однако при запуске docker-compose, я получаю ошибку

ModuleNotFoundError: No module named 'redis'

Почему не все модули устанавливаются?

Может быть есть какие-то советы по работе с Dockerfile и docker-compose.yaml? До этого не особо с докером работал :)

Comments

[alfss]

Вы уверен что модуль не установился? вы пробовали pip freeze запустить после установки?
Что пишется в логах при установке?

[Roman K]

RUN python start.py
Это больше похоже на CMD. Ты точно не ошибся?

[Max Payne]

alfss, В логах докера всё ок

'Compose: docker-compose.yaml' has been deployed successfully.

в логах контейнера ModuleNotFoundError: No module named 'redis'. pip freeze как запустить внутри контейнера? Через CMD pip freeze > req.txt и RUN pip freeze > req.txt ничего.

[Max Payne]

Roman Kitaev, Я пробовал CMD, RUN и ENTRYPOINT - всегда одна ошибка.

[alfss]

Max Payne, это команды для сборки, нужно запустить контайнер и после подцепиться к нему через docker exec и там уже смотреть

>'Compose: docker-compose.yaml' has been deployed successfully.
Это просто информация о запуске из docker-compose, тут нету информации о сборке docker image

[Max Payne]

alfss, Контейнер рестартится, потому что entrypoint падает и exec не срабатывает.

[Дмитрий Шицков]

Выложите куда нибудь лог сборки контейнера.
Рекомендации:

• Используйте ADD только тогда, когда он действительно нужен. В остальных случаях лучше использовать COPY.
  
• Если вы в одну стадию собираете контейнер, совершенно нет никакой необходимости копировать сперва отдельно requirements.txt.
  
• Используйте RUN по назначению. В последней строке вам нужен CMD
  

[Max Payne]

Дмитрий Шицков, Используя CMD, ничего не изменилось.
В чём различие ADD и COPY?

alfss, пока контейнер не упал, я успел сделать freeze. Странно, но redis'а там нет. Хотя в моём requirements.txt он есть.

pip freeze

asn1crypto==0.24.0
attrs==19.1.0
Automat==0.7.0
cffi==1.12.3
constantly==15.1.0
cryptography==2.6.1
cssselect==1.0.3
hyperlink==19.0.0
idna==2.8
incremental==17.5.0
lxml==4.3.3
parsel==1.5.1
peewee==3.9.5
psycopg2-binary==2.8.2
pyasn1==0.4.5
pyasn1-modules==0.2.5
pycparser==2.19
PyDispatcher==2.0.5
PyHamcrest==1.9.0
pyOpenSSL==19.0.0
queuelib==1.5.0
Scrapy==1.6.0
service-identity==18.1.0
six==1.12.0
Twisted==19.2.0
w3lib==1.20.0
zope.interface==4.6.0

[Дмитрий Шицков]

В чём различие ADD и COPY?

ADD позволяет выполнять копирование как локальных файлов, так и удаленных по URL
COPY позволяет выполнять только локальное копирование. Рекомендуется указывать COPY

Использование COPY при копировании файлов с локального диска является рекомендацией, дабы исключить разночтение/заблуждение при чтении Docker-файла

Используя CMD, ничего не изменилось.

Потому что не в нем проблема

Мб. всё же логи покажете/посмотрите, а не кофейная гуща?

[alfss]

Max Payne, Значит ответ в логе сборке, почему-то модуль не смог поставится, почему образ собрался без проблем , я не могу предположить. Нужено лог сборки образа. а лучше запустить контенер с bash и после выполнить самому инсталяцию руками и посмотреть что будет

[Max Payne]

alfss, Дмитрий Шицков, Проблема решилась, но не совсем понятно как. Контейнеры и образы то иногда собираются, то иногда не собираются при старте.
Вообще, использование докера похоже на связавание рук у себя за спиной с криками "вооот как мне удобноо!1".

[Дмитрий Шицков]

Max Payne,

Контейнеры и образы то иногда собираются, то иногда не собираются при старте.

Я бы не назвал это решением))

Вообще, использование докера похоже на связавание рук у себя за спиной с криками "вооот как мне удобноо!1".

Большинству удобно. Главное научиться его готовить

Answer 1

[Николай Киселев]

ADD в докере поменяйте на COPY
Requirements.txt на замените Pipfile, по современным стандартам (не обязательно)