Как можно обновить файлы в папке без перезапуска docker compose?

Question

[narem]

Есть 2 папки. 1 папка для файлов которые скидывает админ, вторая папка для хранения этих файлов.
Каждые N времени отрабатывает скрипт. Из 1 папки файлы берутся, обрабатываются, заносятся в бд и т.д, переносятся во вторую папку.
Проблема такая, что когда я собираю проект в docker compose, 1 папка пустая. После сборки и запуска контейнера я добавляю допустим 1 файл и скрипт его не видит(логично, контейнер уже запущен), что бы файл появился в контейнере мне надо все останавливать и запускать заново. Вопрос, можно ли как-то обойти этот нюанс, что бы я кидал файлы в папку при работающем контейнере и он это видел?

Попробовал добавить volume, но особо не помогло.

version: '3.1'

services:

  db:
    build: ./mysql
    command: --default-authentication-plugin=mysql_native_password
    restart: always
    environment:
      MYSQL_ROOT_PASSWORD: 128Wh
    volumes:
      - ./save/db:/var/lib/mysql
    ports:
      - 3306:3306
    healthcheck:
      test: [ "CMD", "mysqladmin" ,"ping", "-h", "localhost" ]
      timeout: 45s
      interval: 10s
      retries: 10

  adminer:
    image: adminer
    restart: always
    ports:
      - 7080:8080
      
  node:
    build: ./node
    ports:
      - 3000:3000
    volumes:
      - ./save/nodejs-app:/node
      - /docker-file/node/file:/node/file
    depends_on:
      db:
        condition: service_healthy
    environment:
      MYSQL_HOST: db

Comments

[Drno]

уйти от докера?))

Answer 1

[mayton2019]

Докер здесь непричем. Это проблема вашего прикладного софта. Софт видит любые папки через volumes.
Да-да и изменения тоже видит. Тестируйте этот пункт. Все должно работать как и слокальным диском.

Comments

[narem]

Почему не причем, если докер создает контейнер, он работает в контексте тех файлов которые были на момент создания контейнера и запуска. Он не знает о добавление новых файлов т.к внутри контейнера состояние зафиксировано. По этой же причине и существуют volume, потому что файлы за приделами контейнера по сути не взаимодействуют по дефолту с контейнером, именно по этому без volume если удалить контейнер - изменения теряются

[mayton2019]

Дружище жизненный цикл volumes не зависит от старта или останова контейнеров.
Подними сетевой диск на nfs. Подключи туда volume.

Почитай еще для общего развития какие типы сетевых дисков поддерживает Kubernetes.
Там и Azure Blob можно указать.

[narem]

mayton2019, Об этом и речь, что это хранилище для файлов которые нужно сохранить если контейнер удалиться, если эти файлы добавлялись по мере работы приложения, если не использовать это хранилище - потеряются например записи из бд

[сергей кузьмин]

не сомневайтесь - знает. проверено многократно

[сергей кузьмин]

reader.py

from os import listdir
from os.path import isfile, join
import time
volume = '/app'
delay = 10
while True:
  files = []
  files = [filename for filename in listdir(volume) if isfile(join(volume, filename))]
  print(files)
  time.sleep(delay)

FROM python:3.8.2-alpine
WORKDIR /tmp

COPY reader.py ./

CMD python ./reader.py

IMAGE_NAME='basic-reader-image'
CONTAINER_NAME='basic-reader'
docker build -t $IMAGE_NAME -f Dockerfile.reader . 

docker run --name $CONTAINER_NAME -v $(pwd)/app:/app -t $IMAGE_NAME

sudo touch ./app/file1.txt ./app/file2.txt ./app/file3.txt

observe in docker console the files shown:

[]
['file2.txt', 'file1.txt', 'file3.txt']

[narem]

сергей кузьмин, ну вот я в docker-compose прописываю
volumes:
- ./save/nodejs-app:/node
- /docker-file/node/file:/node/file
/docker-file/node путь к файлам проекта, file папка для файлов.
Делаю build потом up. Приложение встает, папка пуста, я через файл зиллу в /docker-file/node/file создаю новый файл test.txt, выполняю обход файлов и ничего нет
docker-file-node-1 | []
Пустой массив
При этом если я все выключу, запущу опять build, up, после старта он начинает видеть эти файлы

[mayton2019]

narem, дружище ты можешь подключиться к работающему контейнеру и командой ls посмотреть
какие файлы там есть. Потому что эта твоя файл-зилла выглядит совсем неубедительно как инструмент
для доказательства.

[narem]

mayton2019, Причем тут доказательства и то что я через файл зилу файл закидываю на сервер?

[mayton2019]

narem, точно-точно закидываешь? И куда закидываешь? У тебя инстансы где поднимаются?
Потому что то что ты рассказываешь выглядит как мистика. Файлы загадочным образом
то исчезают то появляются.

И если у тебя нет инженерного метода поиска - то я тебе такой метод даю. Пожалуйста
следуй проверкам простых утверждений. И проверь на каких хостах у тебя compose
поднимает контейнеры. Всяко я видал...

[narem]

mayton2019, Вот я запустил контейнер когда в file был только файл 2134.txt, зашел в контейнер, ls показало этот файл, я в папку file кинул еще 1 файл, прописал ls и этого файла нет в контейнере

[narem]

mayton2019, Какая мистика? Я ни слова не написал что они исчезают, я сказал что они индексируются в контейнере только после docker compose build, до этого в контейнер файлы не попадают

[mayton2019]

narem, а ты ЗАЧЕМ их включаешь в скоуп образа докера? Им там вообще не место.
В образ включают код и конфигурации.

[narem]

mayton2019, А куда их и как включать в таком случае? И как быть с ситуациями в таком случае с движками, когда надо что бы файлы, картинки хранились в папке с движком?

[сергей кузьмин]

narem, точку поставьте

- ./docker-file/node/file:/node/file

[narem]

сергей кузьмин, В этом случае создает просто папку docker-file рядом с папкой node, если добавлять новые файлы все равно до docker compose build - не видит

[mayton2019]

Я вот историю вспоминаю. Писали систему для одного европейского банка. Тогда еще докеров мы не знали. Просто облако red-hat было с инстанциями. И вот у нас интеграционные тесты мигали как светофор. Четный запуск - красные. Нечетный- зеленые. И так бесконечно. И код при этом не менялся. И тестовая среда создавалась как stateless.

[сергей кузьмин]

narem начните с простого проекта и двигайтесь проверенными шагами

уверяю вас вы не нашли баг в докер композ

[narem]

сергей кузьмин, Так проект пустой, я по сути с него все вычистил, там пара файлов

[mayton2019]

narem,

А куда их и как включать в таком случае? И как быть с ситуациями в таком случае с движками, когда надо что бы файлы, картинки хранились в папке с движком?

ну ты не обижайся, ты - папуас еще тот :)

Неизменяемы ресурсы - поклади в образ докера. Изменяемые - в volumes. И ради христа - не пересекай их по путям. А то будет у тебя светофор как у меня.

[сергей кузьмин]

narem, напишите и продемнострируйте тестовый проект типа что я показал выше в котором можно сделать volume а потом чтобы файлы класть туда а они не видны и "тогда приходите"

[narem]

сергей кузьмин,
Скрипт

const express = require('express')
const app = express()
const port = 3000
const { Sequelize } = require('sequelize');
const fs = require('fs');

const sequelize = new Sequelize('test', 'root', '128Wh', {
  host: 'db',
  dialect: 'mysql'
});

try {
  sequelize.authenticate();
  console.log('Connection has been established successfully.!!!!');
} catch (error) {
  console.error('Unable to connect to the database:', error);
}

app.get('/', (req, res) => {
  fs.readdir('./file/', (err, files) => {
    console.log(files)
    files.forEach(file => {
      console.log(file);
    });
  });
  res.send('Hello World!')
})

app.listen(port, () => {
  console.log(`Example app listening on port ${port}`)
})

Dockerfile node

WORKDIR /bot

COPY package.json /bot

RUN npm install
RUN npm install -g pm2

COPY . .

EXPOSE 3000

CMD node index.js

Docker compose сейчас

version: '3.1'

services:

  db:
    build: ./mysql
    command: --default-authentication-plugin=mysql_native_password
    restart: always
    environment:
      MYSQL_ROOT_PASSWORD: 128Wh
    volumes:
      - ./save/db:/var/lib/mysql
    ports:
      - 3306:3306
    healthcheck:
      test: [ "CMD", "mysqladmin" ,"ping", "-h", "localhost" ]
      timeout: 45s
      interval: 10s
      retries: 10

  adminer:
    image: adminer
    restart: always
    ports:
      - 7080:8080
      
  node:
    build: ./node
    ports:
      - 3000:3000
    volumes:
      - /docker-file/node/file:/node/file
    depends_on:
      db:
        condition: service_healthy
    environment:
      MYSQL_HOST: db

Лог вывода кидал выше скрином

[сергей кузьмин]

пожалуйста напишите новый - минимальный
в том что выше уже вам показывали на имеющиеся обишки

[сергей кузьмин]

когда собиравете то из за

COPY . .
./files в /bot/files
попадает

а для
volumes нужна точка как уже говорилось

volumes:
      - ./files:/bot/files