Через Bash удалить самый старый файл на яндекс диске в определённой папке если файлов в ней больше 10, как?

Question

[Боб Семович]

Я делаю бэкап сайта (базы данных и файлов), кидаю их на сервере сайта и дублирую их на яндекс диск. Всё это через линуксовскую консоль bahs. На сервере я через тот же bash удаляю все бэкапы кроме последних 10.
Как это же реализовать на яндекс диске через bahs???
Вот код моего bahs скрипта:

#!/bin/bash
#
#Переменные Базы данных
DBHOST="Адрес MySQL сервера"
DBUSER="Имя пользователя базы данных"
DBPASS="Пароль пользователя базы данных"
DBNAME="Имя базы данных"
DBARC=$DBNAME.sql.gz
#
#Переменные WEBDAV
WEBDAVURL="Адрес Яндекс.Диск/"
WEBDAVUSER="Имя пользователя от Яндекс.Диска(Яндекс.Почта)" 
WEBDAVPASS="Пароль от Яндекс.Диска"
#
#Переменные сайта
SCRIPTDIR="Абсолютный путь откуда запускается скрипт и где хранятся архивы" 
SCRDIR="Абсолютный путь к сайту от корня диска" 
#SCREXCLUDE="Что не попадет в архив"
SCRARC="Имя архива файлов сайта.tar.gz"
#
#Переменные Резерных копий
ARCNAME="Имя архивной копии сайта"=$(date '+%F(%H:%M)')".tar"
ARCMAX="Количество файлов в локальном хранилище"
#
#Переходим в корневую директорию вебсервера
cd $SCRDIR
#
#Создаем файловый архив со сжатием, учитываем исключения
tar cfz $SCRIPTDIR$SCRARC --exclude=$SCREXCLUDE *
#
#Возвращаемся в папку со скриптом, где лежат все архивы
cd $SCRIPTDIR
#
#Архивируем базу данных со сжатием
mysqldump -h$DBHOST -u$DBUSER -p'$DBPASS' --single-transaction > $DBNAME | gzip > $DBARC
#
#Объединяем файловый архив и дамп базы данных, теперь уже без сжатия
tar cf $SCRIPTDIR$ARCNAME $SCRARC $DBARC
#
#Отправляем результат в Яндекс.Диск
curl --user $WEBDAVUSER:$WEBDAVPASS -T $ARCNAME $WEBDAVURL
#
#Убираем промежуточные архивы
rm *.gz
rm $DBNAME
#
#Удаляем старые копии сайта, оставляем несколько свежих копий
ls -t *.tar | tail -n+$ARCMAX | xargs rm -f

Comments

[SVM]

через Webdav монтируем нужную директорию яндекса к себе в систему.
потом ,в смонтированной директории ищем нужные файлы (маска по имени + дата последней модификации).
удаляем.
профит.

[Иван Шумов]

SOTVM, ты бы это ответом, а не комментарием кинул. Достойно же

[SVM]

Иван Шумов,
Достойно - пару строк кода написать для примера,
но я в пару-тройку минут это не смогу (не такой я супер-кодер).
Это же просто а-ля алгоритм :)

[Иван Шумов]

SOTVM, он и сам справится)

[SVM]

Иван Шумов,

надеюсь

[Боб Семович]

SOTVM, А удалить старые файлы на яндекс диске (если из больше указанного числа) без монтирования можно как то? Например через bash curl???

[SVM]

Comrues,
думаю можно,но нужно курить яндекс api
https://yandex.ru/dev/disk/rest/

Answer 1

[moropsk]

https://serveradmin.ru/backup-linux-servera-s-pomo...
https://blog.selectel.ru/duplicity-rezervnoe-kopir...

Answer 2

[Виктор Таран]

не нужно монтировать, этого может требовать политика безопасности на сервере
а вот удаленно вполне себе можно, по сути все тоже самое .
на кроне от рута монтируете получаете значения удаляете отмонтируете,
Поскольку монтировтаь нужно в RW то естественно обычным юзерам права обрезаете. и все
Вам могут понадобиться
find -type f
удалить самый старый файл
rm -rf $(ls /var/backup/site | head -1)
Если боитесь сразу выполнять, попробуйте что выдаст Вам команда
ls /var/backup/site | head -1

так же я бы оптимизировал ваш файл, и добавил бы в него не жестко базу данных а show databases в цикле и в таком случае новые бд будут попадать в скрипт автоматически, но это го в задаче небыло, просто комент.

Comments

[Боб Семович]

Оо! А могли бы написать как сделать что бы БД попадала в скрипт автоматический? Заранее спасибо!

[Виктор Таран]

для первого скрипта нужно доставить wput ( скрипт заточне под битрикс)

Если дописывать аргумент то буедт дамп определенного сайта, без будет дамп всех сайтов и их бд, и зальется на фтп и даст ссылочку для скачиватия в режиме RO

#!/bin/sh
# Пример пути до сайта /var/www/site.ru/web/
SITEDIR="/var/www"                                  # Папка до названия доменаов
WEB="web"                                           # Папка после названия доменов (если есть)
DBCONN="bitrix/php_interface/dbconn.php"            # Откуда читать настройки mysql
FTPUSER="*******"                                   # Логин FTP сервера
FTPPASS="****************"                          # Пароль FTP
FTPHOST="*************************e"                # сервер FTP
FTPDIR="/ks03.ru/site/"                             # папка на FTP
TMPDIR="/var/backup/site"                           # Где будут храниться временные файлы
DATE=`date +"%Y-%m-%d"`                             # Формат даты в имени файла
DATEYM=`date +%Y`/`date +%m`                        # Второй форматы даты
LIST=${1:-`ls -L $SITEDIR | grep -E ".*\.\w{1,5}" | grep -v "restore.php" | grep -v "klondike.php"`} # Название сайта, тут выбор или аргумент или, регулярка  можно убрать только -L ;)

test ! -d $TMPDIR/$DATEYM && mkdir -p $TMPDIR/$DATEYM # создаем  структ уру каталогов если их нет

for ELEMENT in $LIST
    do
                if [ ! -f /$SITEDIR/$ELEMENT/$WEB/$DBCONN ];
                        then
                            echo " Файл $SITEDIR/$ELEMENT/$WEB/$DBCONN не найден, сайт будет без БД!"
                        else
                                DBLOGIN=$(grep "^\$DBLogin =" $SITEDIR/$ELEMENT/$WEB/$DBCONN | cut -f2 -d'"')
                                DBPASS=$(grep "^\$DBPassword =" $SITEDIR/$ELEMENT/$WEB/$DBCONN | cut -f2 -d'"')
                                DBNAME=$(grep "^\$DBName =" $SITEDIR/$ELEMENT/$WEB/$DBCONN | cut -f2 -d'"')
                                mysqldump -u$DBLOGIN -p$DBPASS $DBNAME > $SITEDIR/$ELEMENT/$WEB/$DBNAME\-$DATE.sql && echo "Дамп БД $DBNAME будет сохранен в корне сайта"  ||  echo "Ошибка дампа базы данных " $DBNAME
                fi

    echo "Архивируем сайт $ELEMENT"
        tar -cvpzf $TMPDIR/$DATEYM/$ELEMENT-$DATE.tar.gz --directory $SITEDIR/$ELEMENT/$WEB --ignore-failed-read --exclude='./bitrix/tmp' --exclude='./bitrix/updates' --exclude='./bitrix/backup/*\.gz*' --exclude='./bitrix/backup/*\.tar*' --exclude='./bitrix/cache' --exclude='./bitrix/managed_cache' --exclude='./bitrix/stack_cache' --exclude='./upload/resize_cache' --exclude='./stats' . >> /dev/nool 2> /var/log/backup_error.log
        rm -f $SITEDIR/$ELEMENT/$WEB/$DBNAME\-$DATE.sql # поскльку ложим на реальный сайт, ибо нормально добавить в архив не получитяс.

        echo "Сохраняем $ELEMENT на FTP"
        wput  --basename=$TMPDIR --limit-rate=60000K --timestamping  --remove-source-files --tries=2 $TMPDIR/$DATEYM/$ELEMENT-$DATE.tar.gz ftp://$FTPUSER:$FTPPASS@$FTPHOST$FTPDIR
        rm -f $TMPDIR/$DATEYM/$ELEMENT-$DATE.tar.gz
echo -en "\n\033[37;1;41m Ссылочка:\033[0m \e[1;4;36mwget ftp://login:pass@$FTPHOST/$DATEYM/$ELEMENT-$DATE.tar.gz\e[0m\n\n" #ks02
  done
rm -r $TMPDIR

А вот просто бэкап только баз

#!/bin/sh

#скрипт бэкапа баз данных
###########################
#Создаем папку для архивов.  -p не ругается когда папка уже есь test проверяет есть ли папка  для чистых логов
test ! -d /var/backup/mysql/`date +%Y` && { mkdir -p /var/backup/mysql/`date +%Y` ; }
test ! -d /var/backup/mysql/last && { mkdir -p /var/backup/mysql/last ; }

#прячем от умных, и так не зайдут но всеже.
chmod 600 /var/backup/mysql
chmod 600 /var/backup/mysql/last

# делаем сам дапм файлов sql, свежинькие файлы лежат всегда в ней, очень удобно не нужно заходить в архивы и искать там вчерашние базы, и логируется.
for i in `mysql -uroot -p******* -e'show databases;' | grep -v information_schema | grep -v Database`; do mysqldump -uroot -p******** $i > /var/backup/mysql/last/$i.sql;done >> /dev/null 2>> /var/log/sqlbackup.log
# Архивируем дамп, ну и логируем разумеется
cd /var/backup/mysql/
tar -czvf /var/backup/mysql/`date +%Y`/sqldump-`date +%Y-%m-%u`.tar.gz ./last >> /dev/null > /var/log/sqlbackup.log
#(echo "Subject: Бэкап mysql  klondike-server завершен"; cat /var/log/sqlbackup.log;) | /usr/sbin/sendmail  [e-mail]
##################  Конец скрипта


#  БЭКАП /etca
test ! -d /var/backup/etc/ && { mkdir -p /var/backup/etc/ ; }
DATE=`date +%F`;
BACKUPPATH="/var/backup/etc";
find $BACKUPPATH/ -mtime +60 | xargs rm -f; #удаляет предыдущие бэкапы старше 60 дней.
tar -czvf "$BACKUPPATH/etc.$DATE.tar.gz" /etc/ > /dev/null 2> /dev/null;

[Боб Семович]

А удалить старый файлы на яндекс диске (если из больше указанного числа) без монтирования можно как то? Например через bash curl???