Как сделать бекап с минимум использования диска?

Question

[zzox4]

Каждый день делается mysqldump (300 баз), каждая база в своем файле, итого ~20GB, ужимается в один bz2 файл 1GB, далее фрхив улетает в amazon glacer.
Проблема в том что на сервере нет 20GB под файлы, а bz2 требует* целого tar файла при сжатии, как выкрутится?

Answer 1

[res2001]

Сейчас вам не хватает 20 Гб на бэкап, завтра вам не хватит свободного места на хранение новых данных. И это завтра наступит раньше, чем вы думаете.
Добавляйте дисковое пространство.

Как временный вариант - делаете бэкап 1 базы, архивируете, отправляете в амазон, потом другой и т.д. Требуемое дисковое пространство сведется к объему максимальной базы * 2.

Comments

[zzox4]

завтра вам не хватит свободного места на хранение новых данных.

Хватит, не храню данные на сервере, все в RDS.

Посути мне нужно возможность просто добавлять в архивный файл, что bz2 не умеет, возможно стоит попробовать другой "архиватор".

архивируете, отправляете в амазон

Нужно все в одном файле.

[CityCat4]

вмварь например при занятости в две трети начинает верещать про datastore usage и совершенно правильно делает, даже если там стор в десятки тербайт. Послушайте res2001 - добавьте еще места.

[zzox4]

CityCat4, > добавьте еще места.

у меня на серваке только "бинарники" (1Гб), остальные 20Гб простаивают без дела, а вы ещё предлагаете нарастить бесполезно простаиваемый диск, это глупо.

Answer 2

[d'Ivan]

Есть большой список ПО с поддержкой дедупликации (искать по "dedup")
https://github.com/restic/others
ZBackup неплох.

Comments

[zzox4]

Не вижу чем это может помочь.

Answer 3

[Владимир Муковоз]

В чём проблема бэкапить сразу в архив?

# mysqldump -uUSER -pPASSWORD BASE | gzip > base.sql.gz
# mysqldump -uUSER -pPASSWORD BASE > base.sql
# du -sh ./base.sql*
26M	./base.sql
4,0M	./base.sql.gz

Норм же)))

Comments

[zzox4]

нужно каждую бд в свой файл

[Владимир Муковоз]

zzox4, ну так в моём примере так и есть)))