Как правильно написать bash-скрипт для копирования файлов?

Question

[Олег Барнев]

Есть папка с большим количеством документов и структурой: год, месяц,день,час. Хочу организовать резервное копирование с архивированием данных в таком же стиле. Например:
Отчеты/2017/01/01/01/00 и получить на выходе папку с архивами в таком же порядке 2017/01/01/01/00.tar.gz . Так, как места на рабочем ПК мало, а в каждой папке за час генерируется до 10 ГБ отчетов, то хотелось бы чтобы после создания архива скопированная папка удалялась. Прошу не судить строго-я начинающий эникей. Добрым людям отвечу добром на Яндекс-кошелек.

Answer 1

[galaxy]

Ну что-то типа:

cd Отчеты
for d in 2017/01/01/01/*; do mkdir -p /path/to/backup/`dirname $d`; tar -czf /path/to/backup/$d.tgz $d; rm -rf $d; done

Чтобы не менять месяц/день, можно и так: for d in 2017/*/*/*/*;

Comments

[Олег Барнев]

А если нужно выполнять несколько таких операций одновременно?

[galaxy]

Можно, конечно, наговнокодить как-то так:

for d in 2017/01/01/01/*; do mkdir -p /path/to/backup/`dirname $d`; tar -czf /path/to/backup/$d.tgz $d &; echo $! >> pids.txt; done

Дальше проверять в цикле по файлу pids.txt, завершились ли процессы, и потом удалять. Но это вариант не очень - сложный и ненадежный: невозможно будет сказать, успешно ли заархивировалась папка или нет.
В первом случае можно хотя бы сделать tar -czf /path/to/backup/$d.tgz $d && rm -rf $d

Да и вряд ли скорости добавит, все в диск упрется.

[Олег Барнев]

galaxy, интересно. Я использую утилиту gsutil, потому что данные лежать в бакете GCS и пытаюсь понять,куда двигаться. С вашей подсказкой я вижу так:
#!/bin/bash
gsutil -m cp -r gs://work/buh/reports/2016/01/01/* ~/data-transfer/2016/01/*/*
for d in ~/data-transfer/2016/01/*/*; do mkdir -p ~/data-transfer/`dirname $d`; tar -czf ~/transfer/$d.tgz $d && rm -rf $d; done

Answer 2

[Виктор Таран]

привожу вам реальные примеры скриптов, тут есть все ответы на ваши вопросы.

#!/bin/sh
#скрипт бэкапа баз данных
###########################
#Создаем папку для архивов.  -p не ругается когда папка уже есь test проверяет есть ли папка  для чистых логов
test ! -d /var/backup/mysql/`date +%Y` && { mkdir -p /var/backup/mysql/`date +%Y` ; }
test ! -d /var/backup/mysql/last && { mkdir -p /var/backup/mysql/last ; }

#прячем от умных, и так не зайдут но всеже.
chmod 600 /var/backup/mysql
chmod 600 /var/backup/mysql/last

# делаем сам дапм файлов sql, свежинькие файлы лежат всегда в ней, очень удобно не нужно заходить в архивы и искать там вчерашние базы, и логируется.
for i in `mysql -uroot -p342342r2 -e'show databases;' | grep -v information_schema | grep -v Database`; do mysqldump -uroot -p342342r2 $i > /var/backup/mysql/last/$i.sql;done >> /dev/null 2>> /var/log/sqlbackup.log
# Архивируем дамп, ну и логируем разумеется
cd /var/backup/mysql/
tar -czvf /var/backup/mysql/`date +%Y`/sqldump-`date +%Y-%m-%u`.tar.gz ./last >> /dev/null > /var/log/sqlbackup.log
#(echo "Subject: Бэкап mysql   завершен"; cat /var/log/sqlbackup.log;) | /usr/sbin/sendmail  [e-mail]
##################  Конец скрипта

а вот с ротированием

#  БЭКАП /etca
test ! -d /var/backup/etc/ && { mkdir -p /var/backup/etc/ ; }
DATE=`date +%F`;
BACKUPPATH="/var/backup/etc";
find $BACKUPPATH/ -mtime +60 | xargs rm -f; #удаляет предыдущие бэкапы старше 60 дней.
tar -czvf "$BACKUPPATH/etc.$DATE.tar.gz" /etc/ > /dev/null 2> /dev/null;