Akuma
@Akuma
Веб-программист

Как сделать бекап и не уложить сервер?

Всем привет,

есть у нас проект Совместных покупок (что-то вроде интернет-магазина).
Он крутится на выделенном сервере Xeon E3-1230v2 16GB RAM.
Файлы в общей сложности занимают около 200 Гб.

Все это бекапится с помощью ZBackup (раньше были штатные следства ISP manager, но они хуже).

Если запустить бекап в полночь, то он будет продолжаться 10-12 часов и при этом сильно замедляет сервер:
load average: 3.99, 4.50, 4.52 или выше

Само-собой это сказывается на удобстве сайта и хотелось бы как-то избавиться от этой проблемы.

Может кто-то сталкивался с подобной проблемой.
Как можно уменьшить нагрузку от создания бекапов?
Как вообще делаются бекапы крупных (в плане объема) проектов?
  • Вопрос задан
  • 732 просмотра
Пригласить эксперта
Ответы на вопрос 3
Я думаю, что это связано с тем, что выполняется сжатие методом LZMA, которое имеет отличные характеристики сжатия, но сильно нагружает систему (особенно для плохо сжимаемых типов данных как JPG). Имеет смысл попробовать LZO, фокусирущийся на скорости сжатия, а не на качестве сжатия.
--compression lzo
Можно также попробовать поиграться с параметрами --cache-size, --threads.
Однако стоит пробовать сначала применять их по отдельности, иначе не будет ясно какой параметр влияет, а какой - нет.
Кстати, для JPG можно ещё поэкспериментировать с упаковщиком lepton (сжатие/расжатие без потерь).
В целом, подобрать оптимальный способ сжатия можно исходя из природы данных.
Ну и, наконец, самое напрашивающееся решение: использование выделенного вычислительного ресурса только для целей резервирования данных. Само собой, у него должен быть прямой доступ к данным.

Добавлено
В качестве решения инкрементальных резервных копий имеется
zbackup-tar
zbackup-tar is a very relaxed incremental tarring tool. Very relaxed means that the cost of tarring a file we don't need is very low (since it will be deduplicated) so we can tar files we don't strictly need, so long as we never miss tarring a file we do need.
Ответ написан
Комментировать
Jump
@Jump Куратор тега Резервное копирование
Системный администратор со стажем.
Видимо проблема в том, что вы делаете полный бэкап.
Зачем вам каждый раз бэкапить 200Гб? Если за день у вас изменилось от силы 2-3Гб?
Ответ написан
@MechanID
Админ хостинг провайдера
Посмотрите на nice и ionice
эти утилиты позволяют понизить приоритет использования цпу и дисковой подсистемы процессу во время запуска или уже после того как он был запущенн.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы