Как сделать бекап и не уложить сервер?

Question

[Валерий]

Всем привет,

есть у нас проект Совместных покупок (что-то вроде интернет-магазина).
Он крутится на выделенном сервере Xeon E3-1230v2 16GB RAM.
Файлы в общей сложности занимают около 200 Гб.

Все это бекапится с помощью ZBackup (раньше были штатные следства ISP manager, но они хуже).

Если запустить бекап в полночь, то он будет продолжаться 10-12 часов и при этом сильно замедляет сервер:
load average: 3.99, 4.50, 4.52 или выше

Само-собой это сказывается на удобстве сайта и хотелось бы как-то избавиться от этой проблемы.

Может кто-то сталкивался с подобной проблемой.
Как можно уменьшить нагрузку от создания бекапов?
Как вообще делаются бекапы крупных (в плане объема) проектов?

Answer 1

[d'Ivan]

Я думаю, что это связано с тем, что выполняется сжатие методом LZMA, которое имеет отличные характеристики сжатия, но сильно нагружает систему (особенно для плохо сжимаемых типов данных как JPG). Имеет смысл попробовать LZO, фокусирущийся на скорости сжатия, а не на качестве сжатия.
--compression lzo
Можно также попробовать поиграться с параметрами --cache-size, --threads.
Однако стоит пробовать сначала применять их по отдельности, иначе не будет ясно какой параметр влияет, а какой - нет.
Кстати, для JPG можно ещё поэкспериментировать с упаковщиком lepton (сжатие/расжатие без потерь).
В целом, подобрать оптимальный способ сжатия можно исходя из природы данных.
Ну и, наконец, самое напрашивающееся решение: использование выделенного вычислительного ресурса только для целей резервирования данных. Само собой, у него должен быть прямой доступ к данным.

Добавлено
В качестве решения инкрементальных резервных копий имеется
zbackup-tar

zbackup-tar is a very relaxed incremental tarring tool. Very relaxed means that the cost of tarring a file we don't need is very low (since it will be deduplicated) so we can tar files we don't strictly need, so long as we never miss tarring a file we do need.

Answer 2

[АртемЪ]

Видимо проблема в том, что вы делаете полный бэкап.
Зачем вам каждый раз бэкапить 200Гб? Если за день у вас изменилось от силы 2-3Гб?

Comments

[Валерий]

Да вроде как должен создаваться инкрементальный бекап.
И что-то у меня уже закрались подозрения, может и правда где-то накосячили с настройками и каждый раз все бекапится заного.

[АртемЪ]

Валерий Озарничук: А вот это уже проблема. Я бы сказал огромная проблема!
Выходит вы точно и досконально не знаете что за бэкап у вас делается, и не пробовали с него восстанавливать!
А это обязательно, иначе смысла в бэкапе нет.
У вас должны быть не подозрения, а четкая уверенность что бэкап делается, какой именно бэкап делается, за какой период с него можно восстановить информацию и должна быть четкая инструкция по восстановлению.

[Валерий]

АртемЪ: логично. Нужно будет и правда подробнее этот момент изучить. Сейчас они на внешнем администрировании просто, которое идет от хостера.

Answer 3

[Владимир]

Посмотрите на nice и ionice
эти утилиты позволяют понизить приоритет использования цпу и дисковой подсистемы процессу во время запуска или уже после того как он был запущенн.

Comments

[d'Ivan]

Понизив приоритет задачи тем самым повышается время выполнения задачи, не так ли?

[O Di]

Роман Мирр: так. Но вы уж выбирайте, что вам надо.

[Валерий]

Впринципе, как вариант решения проблемы можно оставить. Спасибо.