Как сделать инкрементируемый бэкап с ноута LINUX в облако?

Question

[AlexxZhuravlev7]

Хочу настроить резервное копирование данных со своего ноутбука в облако,
чтобы в случае выхода из строя\потери ноутбука я мог восстановить систему на новый
ноутбук быстро и безболезненно.

Вариант бэкапить каждый раз всю систему - не вариант, нужно или
инкрементируемый бэкап или снэпшоты, которые не совсем понимаю как работают.
Второй момент, очень хотелось бы, чтобы бэкап совершался без выключения системы,
но это я так понял маловероятно.

Answer 1

[Павел]

dd или git в помощь. все стоит по дефолту

Comments

[Дмитрий Александров]

В случает zfs и вероятно некоторых других фс dd просто убьет все.

Answer 2

[pfg21]

для ентого нужно или btrfs или zfs накатить на рабочий раздел - будут тебе и снапшоты и все остальное без выключения.
а так же встроенные инкрементальные бекапы из снапшотов.
и прочие вкусности.

если в рабочем разделе нет файлов баз данных, то можно наскриптовать tar бекапы с инкрементами через --newer.

Answer 3

[Дмитрий Александров]

Бекап всей системы ничего хорошего не даст и скорее прибавит гемороя для восстановления т.к. железо может отличаться, uid винтов отличаться и т.д.
Также инкрементальные бэкапы не очень хороши и если их и делать то за небольшой срок. В общем сферический конь в вакуме будет примерно такой:
1) Полный бекап раз в месяц. Хранить не больше, к примеру, 2х штук, т.е. за прошлый и позапрошлый месяцы.
2) Полный бэкап раз в неделю. Хранить не более , к примеру, 5 штук, т.е. за последние 5 недель.
3) Инкрементальный бэкап ежендневно., хранить неделю после чего удалять и начинать новую неделю.

Яйца хранить необходимо в разных корзинах. К примеру бекап за весь месяц гденить на дропбоксе или любом другом сервисе. Недельные к примеру на яндексе. А ежедневные можно прямо на компе на физически другом диске или даже на нем же.

Какие технологии заюзать:
- облачное хранилище с нативной поддержкой подключения(webdav,sftp,ftp...) для удобства и хранения недельных и месячных бэкапов.
- физический винт для хранения ежедневных инкрементальных бэкапов, или же прямо на самом винте который и бэкапите.

Что бэкапить (по важности данных, цифра больше значит важнее):
0 - фото,картинки, видео, музыку.
1 - конфиги системы и софта
2 - документы, проекты, рабочие файлы.
* в бэкапах не нужны игры, сама система, логи, временные файлы, вероятнее всего мызыка и видео.

Софт:
- tar для создания месячных и еженедельных бэкапов
- cp\mv для перемещения\копирования полученного архива бэкапа в облако
- rsync для инкрементального бэкапа или совсем по феншую zfs\btrfs
- cron чтобы запускать бэкапы

Софт опциональный:
- уведомлялка что бэкап успешен куда нибудь на глаза (телеграм, почта, уведомление на экран)
- логи чтобы если что понять почему бэкап не удался
- EncFS на облачные диски чтобы никто даже украв ящик или сам владелец (яндекс\дропбокс...) не мог выудить файлы из бэкапов

Вариант 2: можно купить большой объем яндекс диска\дропбокса\мейлру диска, примонтировать его и поверх смонтировать EncFS в каталог домашнюю папку. Получится такой себе неубиваемый каталог со всем и бонусом его можно монтировать с другого ноутбука получая туже рабочую среду(относительно).

Comments

[AlexxZhuravlev7]

По поводу второго варианта - непонятно с какой скоростью эта вся "радость" будет работать через этот самый Интернет.

[Дмитрий Александров]

AlexxZhuravlev7, проверить?) Можно и не всю домашнюю папку монтировать а к примеру только важную часть

[AlexxZhuravlev7]

Вот тут просто с этими самыми бэкапами философский вопрос возникает -
вот будет у меня домашняя папка забэкаплена, где сохранены мои данные.
Допустим я запустил голый линукс - мне придется инсталлить все эти программулины,
которые потом уже подтянут данные из конфигов домашних папок - так ведь?

Есть ли способ быстро развернуть софт, установленный в текущей системе?
Чтобы все было максимально просто.

[Дмитрий Александров]

AlexxZhuravlev7, да, ставим, и если версия софтины совпала то конфиги подтянутся если она их хранит как положено в домашней директории.
Насчет разворачивания тут есть варианты со своими плюсами и минусами
1) Решение в лоб. Составляем примитивный скрипт вида apt-get install proga1 proga2 ... progaN . Дальше на свежеустановленной системе достаточно будет запустить полученное и все перечисленное будет установлено. Останется толькко подмонтировать облако и все. Минусов много, если дистр сильно обновился или изменились репозитории то какой то программы или ее версии может просто не оказаться. Плюсы что делается просто и вообще для какого угодно дистра с какой угодно системой пакетов.
2) Юзать дистрибутивы с пакетными менеджерами использующими "оверлейные, контейнерные" типы софта. К примеру дистрибутивы Puppy и все производные используют pet\pfs\sfs контейнеры. По сути это ФС начиная от корня( \ ) программа разложена по нужным ей местам. Ось видит такой пакет и накладывает поверх основной ФС тем самым получается что она как бы установлена. При этом любые изменения файлов или добавления сохраняются отдельно, т.е. не трогают саму программу. Опять много плюсов и минусов, к примеру крайне удобно контролировать версии софта, очень удобно их переносить на другие инсталяции(тупым копированием pet\pfs\sfs), всегда легко и бесследно можно удалить или обновить софт, легко собрать свой пакет, легко собрать целый свой дистрибутив. Из минусов то что такой бутерброт оверлейных ФС накладывает свои нагрузки к примеру на оперативку, т.е. 100 таких программ это 100 фс наложенных друг на друга и каждая кушает скажем по 1 мегабайту озу.
3) snap или flatpack или appimage, тут если проще говоря развитие идей п2, точнее даже аналогичные подходы. Тут можешь почитать что к чему.

С одной стороны лично я бы предпочел тот же puppy с его подходом, просто потому что мне нравится такой подход, крайне удобно все контролировать и отсутсвует зависимость от устаревания репозиториев. С другой стороны скорее всего если понадобится что то обновить то придется делать это ручками или искать кто уже собрал пакет. На 2х ноутбуках у меня и используется puppy самосборный просто потому что удобно, софт стоит нужных версий и обновления не требуются, ноуты не очень мощные. С другой стороны на работе на рабочем ноуте сейчас стоит манжаро просто потому что нужны самые свежие версии софта, на серверах centos и opensuse.