Как создать многотомный tar с загрузкой по ftp на лету?

Добрый день.
Есть несколько веб сайтов с папками содержащими большое кол-во фото/видео, с довольно редким обновлением.
На одном проекте папка весит 250 гигов, за неделю добавляется несколько файлов.
В остальном сайты довольно часто обновляются и дорабатываются, соответственно всё это нужно как-то бэкапить на удаленный FTP.
Гонять каждую ночь терабайты статичных данных не вариант, к тому же хранилище одно и не вывозит по каналу / скорости записи.
В качестве выхода решено делать раздельный бэкап, больших папок и всего остального.
Всё остальное весит 200-400 мегабайт и отлично бэкапится каждую ночь.

С большими папками вопрос пока до конца не решен.
Были разные идеи типа сканирования сайта на предмет новых файлов и загрузке только их, но там вылезают лишние сложности.
Решили остановиться на полном бэкапе раз в неделю, но и тут есть нюанс.
На серверах нет свободного места для хранения бэкапа, поэтому tar (без сжатия) предполагается лить сразу на FTP, но и тут вылезает нюанс - размер файла.
С файлом на 250 гигов могут возникнуть проблемы, поэтому его нужно разбивать на части по 2 гига например.
В рядовых случаях шлем бэкапы через curl
tar -c -C ./  site.com/big_folder | curl -T - -u username:password ftp://backup.ru/disk2/user/file.tar

Я с linux консолью "на вы" пробовал пристроить сюда | split -b 2048M и так и сяк всё никак не могу добиться результата.
Какой командой это побороть?

P.S.: Думал про монтирование удаленного ftp отдельным разделом, но ftp хранилище отключается днём, есть опасение что с этим могут быть проблемы.
  • Вопрос задан
  • 210 просмотров
Решения вопроса 1
@pfg21
ex-турист
сплит не работает с потоками, потому решением будет смонтировать фтп как файловую систему и сохранять туда нарезанные файлы.
---------------
поставить syncthing на сервере и на хранилище.
в синхфинге хранилища включить версионирование.
т.к. это демон, то любое изменение файлов будет сразу сливаться в хранилище ("бекапиться" в версионировании).
кстати и в обратку файлики тоже прекрасно будут заливаться. удобно если еще синхфинг поставить на рабочую машину
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы