Как правильно бэкапить файлы в Yandex Storage?

Question

[evomed]

Есть файлы (документы, картинки) на сервере. Есть Yandex Storage. Нужно огранизовать бэкап файлов на Yandex Storage. В голову пришло несколько вариантов:

1. Загружать/удалять в Яндекс в момент загрузки/удаления на сервере.
2. Сделать таблицу файлов загруженных на Яндекс. В момент загрузки/удаления помечать файлы в таблице и затем, допустим раз в неделю, пачкой проводить загрузку/удаление на Яндекс.
3. Сносить все файлы в Яндекс. Упаковывать все файлы на сервере в архив. И грузить этот архив на Яндекс. Повторять раз в неделю. Но тогда это вероятно отразится на стоимости в Яндекс т.к. будут операции на загрузку-удаление гигабайтов данных.

Как поступить и что выбрать?

Comments

[ge]

А почему просто не взять готовый инструментарий типа borg-backup, restic, duplicity, да тысячи их? Там и ротация бэкапов настраивается, можете шифровать данные, делать инкрементальные или полные бэкапы и т.п. Большинство таких утилит умеет работать с S3-совместимыми хранилищами.

[evomed]

ge, не знал про эти утилиты.

Answer 1

[rPman]

Инкрементальные бакапы
Каждый архив должен содержать только разницу между предыдущим состоянием файловой системы и текущим

Каждый инструмент резервного копирования использует свой формат хранения такого снапшота

Если делаешь свой, то учитывай не только новые и измененные файлы но и удаляемые. Существуют binary diff утилиты, вычисляющие приблизительную разницу между двумя бинарными файлами для экономии места в бакапе, вместо полного копирования измененного файла

p.s. недостаток инкрементальных бакапов в том что для восстановления состояния нужно "применить снапшоты" за все время с момента первого сохраненного состояния

решают эту проблему тем что ограничивают количество промежуточных состояний и с каждым новым модифицирют стартовое состояние, применив к нему самый старый бакап (который после этого удалят)

p.p.s. btrfs имеет встроенные механизмы получения инкрементальных бакапов между снапшотами без сканирования всех файлов (что актуально для ОГРОМНЫХ архивов)

Comments

[evomed]

Это типа второго варианта только с архивами? С архивами не работал никогда, не представляю как все эти операции с ними проводить (сравнения, изменения итд). Выглядит в моей голове как то неоправданно сложно.

[rPman]

Все нормальные архиваторы от tar до rar умеют совершать архивацию, с пометкой в файловой системе флаг что файл в архиве или например по дате (все файлы с изменениями после даты) и т.п.

чуть сложнее с контролем за удалением файлов, но вот пример, в windows (в linux всегда было, loop устройства) можно создать .vhdx файл (в панели управления дисками создать виртуальный диск), внутри которого развернуть полноценную файловую систему,... копировать файлы туда можно с помощью rsync, он и удалит и обновит и не будет лишние операции делать.

т.е. получаешь что то типа архива (сжатие можно средствами файловых систем организовать) который можно переносить одним файлом, держать в сети (с осторожностью) и при этом его можно подключить как диск и работать в любых программах

[evomed]

rPman, звучит как правильное решение) Хотя для меня все равно сложно, если только библиотеку под ПХП поискать на гитхабе.

Answer 2

[Михаил Лялин]

А почему актуально только платное облачное хранение?
Локального сервера/NAS у вас нет?

Comments

[evomed]

У меня есть один сервер под проект, где и сейчас хранятся файлы. Ну облако дешевле + кодовая база настроена на Яндекс.