Как сделать полный бекап сайта через rsync?

Question

[WebforSelf]

Есть тяжелый сайт, около 200 гб весит, как скачать его полный бекап с сервера на Debian 10?
Прочитал варианты и понял что тут только rsync поможет. Только вот вопрос, как настроить и с чего начать? Есть ПК с чистым жестяком, ставить локальный сервер буду позже

Answer 1

[Виктор Таран]

на сервер куда передаешь создадим папочку mkdir /tmp/11

tar cvfz - /var/www/site.ru/ |ssh root@111.111.111.111  "cd /tmp/11;tar xvfz -"

собственно все!
сайт переехал и уже в распакованном виде при этом архив не занимал места нигде ни на том ни на том сервере, но тем не менее через интернет передавался в 1 файле.

tar cvfz - /var/www/site.ru/- Архивировать папочку
| передать

ssh root@111.111.111.111  "cd /tmp/ - на другой сервер

;tar xvfz -" распаковать.

В результате сайт будет паковаться и передаваться на сторонний сервер в архиве, то есть не по 1 файллу а в архиве.
Но сохраняться он будет сразу на той стороне, при этом каждый файл будет сразу и распаковываться.
То есть он будет передаваться со скоростью передачи 1 ффайла ( быстро) но при этом бэкапа как такового не будет существовать

Comments

[ComodoHacker]

Решение отличное, но есть большой минус. Один обрыв связи на 99% — и начинай заново.

[Виктор Таран]

ComodoHacker,
если вы качаете между серверами такой ситуации быть не может
Связь между дата центрами идиальная, и никто вам не мешает добавить в конец $$ echo "закончил копировать валидно"
Ну или || echo провал братан

[ComodoHacker]

Виктор Таран, "Никогда не говори никогда" (c)

И я не очень понял, как предложенные вами команды помогут с проблемой возобновления при обрыве связи.

[Виктор Таран]

ComodoHacker, оно поможет вам понять с каким кодом завершилось копирование.
Прверьте если вы копируете с сервера на сервер вам этого более чем достаточно.
Тем более никто не мешает вам при || повторить операцию.
Вероятность того что 300 гб по дороге потеряется крайне мала, это же не ваша домашняя линия собранная из говна и веток.

[ComodoHacker]

Виктор Таран, То есть вы хотели сказать, что для сценария "сервер-сервер в том же ДЦ" проблема возобновления не актуальна. Согласен.

Но мне кажется, у WebforSelf сценарий другой.

[Виктор Таран]

ComodoHacker, 300 гб заливать явной переносе сайта, даже бэкап держать вне облака или дата центра это же маразм.
не на домашнем же диске его хранить.
так что думаю тут вариант сценария переезд 1 сайта на другой сервер в адекватные сроки.

Answer 2

[ky0]

Вопрос слишком неопределённый. В чём сложность?

Определяете, какие каталоги вам нужны для бэкапа, устанавливаете любой rsync-клиент на машину с чистым диском, начинаете копирование. Обычно бэкап сайта состоит из двух частей - файлов и базы. Базу просто так копировать нельзя, нужно сделать дамп.

Answer 3

[shurshur]

В чём проблема? Там проще некуда.

rsync -av --progress user@host:/path/to/site/ /local/directory/for/site/

(слеши на концах путей нужны)

Можно на лету сжимать, добавив ключ -z.

Если случится обрыв, rsync при следующем запуске продолжит с того же места, а также учтёт изменившиеся с тех пор файлы.

Answer 4

[pfg21]

запускаешь rsync через ssh или через sshfs или еще как. статей навалом.
плюс rsync в отличии от к примеру cp то, что он может подтвердить полноценность переноса данных из одного места в другое.

для скорости можно копировать cp, а потом проверить идентичность копии через rsync (по размеру, дате в идеале по хешу каждого файла)

Comments

[Сергей Соколов]

для скорости можно копировать cp

rsync вроде умеет зиповать перед отправкой, что здорово ускоряет. Ключ -z

[pfg21]

Сергей Соколов, сжимать и ssh может :) а так да, скорости может прибавить.

Answer 5

[Drno]

Поднять в том месте куда копируете фтп или sftp
Далее - rsync

Answer 6

[ComodoHacker]

Если есть свободное место на сервере, я бы заархивировал данные и скачивал архив, например по FTP.
Плюсы:

• Контроль целостности
  
• Возможность докачки при нестабильной связи
  
• Хорошая скорость (по сравнению с rsync и sftp)