Как дополнить скрипт?

Question

[Drno]

Доброго дня. Есть sh скрипт - выдергивает mp4 файл после записи и копирует в другую папку
строка которая это делает
find "$DIR" -name "*.mp4" -print0 | xargs -i'{}' -0 cp '{}' /config/rec/

Хочется чтоб он предварительно создал папку по имени файла(естественно без расширения mp4)
Чтоб конечная папка была не /config/rec/ а /config/rec/"namefile"/

И далее это имя папки надо засунуть в строку rclone
rclone copy /config/rec/"namefile" cloud: --max-age 12h --create-empty-src-dirs -P --transfers=1 --checkers=1;

Если кому не лень - подскажите_)

Answer 1

[AVKor]

#!/usr/bin/env bash

while IFS= read -r -d '' file; do
	file_name=$(basename "$file" | cut -d "." -f 1)
	target_dir="/config/rec/$file_name"
	mkdir -p "$target_dir"
	cp "$file" "$target_dir"
	rclone copy "$target_dir" cloud: --max-age 12h --create-empty-src-dirs -P --transfers=1 --checkers=1;
done < <(find "$DIR" -name "*.mp4" -print0)

rclone я не пользуюсь, так что сами проверьте эту часть.

Comments

[Drno]

спасибо ,кое что подчерпнул. но для меня сложная конструкция, буду пробовать в одну строку делать)

[AVKor]

Drno,

буду пробовать в одну строку делать)

Это можно записать в одну строку, только такая процедура ухудшит читаемость.

Answer 2

[hint000]

можно сделать однострочник:

find "$DIR" -name "*.mp4" -printf "%P\n" | xargs -i{} basename {} .mp4 | pee 'xargs -i{} mkdir -p /config/rec/{}' 'xargs -i{} cp {}.mp4 /config/rec/{}/' 'xargs -i{} rclone copy /config/rec/{}/{}.mp4 cloud: --max-age 12h --create-empty-src-dirs -P --transfers=1 --checkers=1;'

Comments

[Drno]

вот я и делаю однострочник. как раз уже почти закончил разбираться и тут Вы )) пасиб)

[Drno]

hint000 есть только ньюанс, видимо который я не учел
Этот скрипт отрабатывает после остановки записи в конференции. И целиком выглядит вот так (rclone убрал пока). И я так понимаю он переходит в папку с записью конференции и выше уже не может создать файлы \ папки - например в /config/rec
Так под каждую конференцию своя папка создается, и он видимо отрабатывает только внутри неё

#!/bin/bash
DIR=$1 # обязательный параметр, указание от разрабов, типо отслеживает папку с конкретной конфой
echo "Recording processor for recording of directory $DIR"
DEST="$(cd $DIR && cd .. && pwd)"
echo "copy to destination directory $DEST"
find "$DIR" -name "*.mp4" -printf "%P\n" | xargs -i{} basename {} .mp4 | pee 'xargs -i{} mkdir -p /config/rec/{}' 'xargs -i{} cp {}.mp4 3/{}/'

[hint000]

Drno, ай, это я неправильно написал 3/{}/ вместо /config/rec/{}/
(уже исправил в ответе)
Проверял команду у себя, и осталось тестовое имя папки.

[Drno]

hint000, к сожалению нет, не появляется
структура файлов такая
/config/recordings
/config/rec
в папку recordings пишется всё (создается рандомная папка под конференцию) типа
/config/recordings/samgmkcmkhwksmeu/blablabla.mp4

Если пытаться создать папку внутри папки с конфой и туда переместить\копировать файл - всё ок.

Но если пытаться как я хочу скопировать\переместить в /config/rec то фейл..
видимо не реально это сделать в 1 строку или типа того

DEST="$(cd $DIR && cd .. && pwd)" - эта команда я так понимаю переходит в папку с конфой и дальше отрабатывается скрипт уже внутри неё

[hint000]

Drno, дело не в том, в одну строку или не в одну. Проверьте права доступа у папки, в которой не появляется.
Новая папка тоже не создаётся?
Сообщения об ошибках какие-то выводятся?

Ааа... увидел! В команде cp нет пути к файлу, только имя файла. А мы ушли в папку на уровень выше.
cp {}.mp4 исправьте на cp $DIR/{}.mp4

[Drno]

hint000, ну я все таки решил записать лог)) как и предполагал - он работает в папке конференции по умолчанию, получается неправильно путь обрабатывается

JibriServiceFinalizeCommandRunner.doFinalize#44: Finalizing the jibri service operation using command [/config/finalize.sh, /config/recordings/ckctdlbxtcaltmic]
Jibri 2022-03-14 18:45:40.661 INFO: [99] LoggingUtils$Companion$OutputLogger$1$1.call#42: Recording processor for recording of directory /config/recordings/ckctdlbxtcaltmic
Jibri 2022-03-14 18:45:40.662 INFO: [99] LoggingUtils$Companion$OutputLogger$1$1.call#42: moving to destination directory /config/recordings
Jibri 2022-03-14 18:45:40.662 INFO: [99] LoggingUtils$Companion$OutputLogger$1$1.call#42: mkdir: cannot create directory '/config/rec//config/recordings/ckctdlbxtcaltmic/vasa_test_19_2022-03-14-18-44-39': No such file or directory
Jibri 2022-03-14 18:45:40.662 INFO: [99] LoggingUtils$Companion$OutputLogger$1$1.call#42: cp: cannot stat '*.mp4': No such file or directory
Jibri 2022-03-14 18:45:40.662 INFO: [97] JibriServiceFinalizeCommandRunner.doFinalize#60: Finalize script finished with exit value 123

[Drno]

hint000, так же ругается на команду pee - not found

[hint000]

Drno,

pee - not found

ну тогда само собой не будет работать. А что за дистрибутив? Если из семейства Debian\Ubuntu, то установите:
sudo apt install moreutils

[Drno]

hint000, вообщем предыдущее можно не читать. я поправил что мог. Это докер контейнер, доставил что надо

строка щас выглядит вот так

find "$DIR" -name "*.mp4" -printf "%P\n" | xargs -i{} basename {} .mp4 | pee 'xargs -i{} mkdir -p /config/rec/{}' 'xargs -i{} cp $DIR/{}.mp4 /config/rec/{}'

Лог теперь вот такой. Я так понимаю неправильно передается параметр новой созданной папкой. Папка с название файла в /config/rec создалась, но файл туда не ушел. Непонимаю как передать новый путь правильно

inalizing the jibri service operation using command [/config/finalize.sh, /config/recordings/nspbuyqamkwngwlg]
Jibri 2022-03-15 12:26:27.438 INFO: [58] LoggingUtils$Companion$OutputLogger$1$1.call#42: Recording processor for recording of directory /config/recordings/nspbuyqamkwngwlg
Jibri 2022-03-15 12:26:27.438 INFO: [58] LoggingUtils$Companion$OutputLogger$1$1.call#42: copy to destination directory /config/recordings
Jibri 2022-03-15 12:26:27.438 INFO: [58] LoggingUtils$Companion$OutputLogger$1$1.call#42: cp: cannot stat '/vasa_test_117_2022-03-15-12-25-05.mp4': No such file or directory
Jibri 2022-03-15 12:26:27.439 INFO: [46] JibriServiceFinalizeCommandRunner.doFinalize#60: Finalize script finished with exit value 123

[hint000]

Drno, надо добавить export

#!/bin/bash
export DIR=$1 # обязательный параметр, указание от разрабов, типо отслеживает папку с конкретной конфой
# и далее по тексту

[Drno]

hint000, все заработало. спасибо огромное)
наверно посл вопрос - как удалить изначальные файлы после этого.
которые копируются из папки конференции к примеру /config/recordings/samgmkcmkhwksmeu/

[hint000]

Drno, можно вместо копирования (cp) делать сразу перемещение файлов (mv), будет вообще мгновенно работать.

[Drno]

hint000, это то понятно. Но если чет пойдет не так - файл будет испорчен

[hint000]

Drno, при перемещении меняются только метаданные. Сами данные файла где находились на диске, там и останутся. Физического перемещения файла не происходит (если только перемещение в пределах одной файловой системы). Если что-то пойдёт не так в плане невозможности перемещения (например, проблема с правами доступа), то файл останется на старом месте; возможность выполнения операции проверяется до самой операции. Я вот не могу припомнить какого-то случая, чтобы именно при перемещении файлов что-то пошло не так. С другой стороны при копировании как раз можно получить битую копию. Во-первых, возможна ошибка чтения с диска; во-вторых, ошибка памяти, куда будет временно помещён файл или кусок файла; в-третьих, ошибка записи на диск. Да, вероятность этого очень мала, но всё же она многократно больше, вероятности сбоя при перемещении, когда на диске будут изменены, грубо говоря, всего несколько байт, а не целый гигабайтный файл.

[Drno]

hint000, да я понимаю как перемещение работает "физически"
тож пока не могу придумать вариант когда он будет "битым", кроме если сервак отрубится в процессе)

[Виктор Таран]

Drno,

это то понятно. Но если чет пойдет не так - файл будет испорчен

Нет не будет перемещение файлов полностью на откупе FS
Если же ты прям так хочешь копировать и удалять сразу
то

cp файл && rm старый файл || echo "что-то пошло не так"

это облегченая конструкция if then с проверкай кодов завершения программы
&& если команда выполниалсь успешно
|| если команда закончилась кашем.

[Drno]

Виктор Таран, спасибо