Как делать полный бэкап хостинга с объемом занятого пространства >50%?

Question

[Finar]

Всем привет!



Сейчас происходит так: Домашний Сервер по ночам заходит по FTP на хостинг, скачивает весь сайт, затем архивирует и удаляет файлы. Минусы решения:

— сайтов становится все больше и больше, и в итоге каждую ночь прокачиваются сотни тысяч файлов;

— все это работает не очень стабильно, бывает подвиснет FTP, пропустит файл;

— некоторые хостинги ограничивают листинг файлов через FTP, если их слишком много;

— и т.д.;



Как примерно хочется сделать:

1. на хостинге ночью запускается скрипт

2. архивирует весь сайт в единый архив

3. заливает его по FTP на Домашний Сервер

4. удаляет залитый архив



Схема не сработает, если объем файлов превышает 50% доступного дискового пространства хостинга: архив с файлами не удастся создать.



Кто что может предложить?



Спасибо!

Comments

[Андрей Янцен]

доступ по ssh есть?

[zapimir]

Как вариант сделать разбить бэкап на 2 части, и делать их по очереди. Плюс заюзать инкрементальный бэкап.

[Finar]

Доступ по ssh к хостингу есть, к Домашнему Серверу — пока нет, он работает под Windows 2008. Канал — 30 МБит., стабильный.

Answer 1

[sledopit]

rsync же на сервер с большим диском. а потом там хоть уархивируйтесь.

Comments

[Finar]

А ваше предложение кроме решения конкретной задачи еще и универсально. Очень интересно в контексте синхронизации серверов в общем. Спасибо, будем копать в этом направлении.

[librarian]

rsnapshot умеет инкрементальные бэкапы с хардлинками

Answer 2

[Андрей Янцен]

ssh [e-mail] tar -zc /var/www/d1 /var/www/d2 >backup.tar.gz
Создаст TarGz-архив с содержимым папок /var/www/d1 /var/www/d2 без использования дискового пространства сервера. Архив создастся на локальном компьютере. Под виндой, емнип, нужно использовать plink (из комплекта putty).

Comments

[Finar]

Спасибо, ваше предложение решает задачу.

Answer 3

[kreativf]

Я бы попробовал облако:
www.crashplanpro.com/business/
Там есть тариф за $7,50 в месяц с бесплатным траффиком и неограниченным местом. Есть вариант потестить нахаляву 30 дней.

Answer 4

[BasilioCat]

— Есть возможность заливать бэкапы на FTP (при условии отсутcnвия rsync) не создавая промежуточных файлов
tar czf - $site | ncftpput -u $FTP_USER -p $FTP_PASSWD -c $FTP_HOST $FTP_DIR/$DT/$site/files.tgz
и БД
mysqldump -u $MYSQL_USER -p$MYSQL_PASSWD $db | gzip | ncftpput -u $FTP_USER -p $FTP_PASSWD -c $FTP_HOST $FTP_DIR/$DT/$site/$db.sql.gz
— Также есть достаточно интересное поделие rdiff-backup, позволяющиее хранить текущий полный бэкап с инкрементальными «файлами отката», позволяющими восстановить данные на любую дату. Естественно, его надо разворачивать на своем серере/vps.
— Ну и вполне промышленный вариант: использовать rsync + снапшоты. Rsync делается на сервер, на файловой системе которого периодически создаются снапшоты. И место экономится, и лишние объемы не перекачиваются, и несколько архивных копий всегда под рукой. Совсем хорошо, если файловая система еще и сжатие поддерживает — zfs например.