Какое ПО для резервного копирования выбрать для возможности отправки по FTP и/или облака, а также сжатие, шифрование?

Question

[squidw]

1) Мне нужно в основном копировать базы 1С(файловые, MSSQLServer, Postgre_SQL) пока что только на Windows.
2) Здесь же раз на раз копировать произвольные файлы кроме баз, например, документы.
3) Здесь же делать образ системы

В основном требования, которые я предъявляю к ПО:
- копирование на локальный носитель
- копирование на сетевой носитель
- Копирование на ftp
- копирование в облако
- очистка старых копий по времени/количеству/другое
- копирование файловых, SQL ИБ 1С
- сообщение через mail о успешности/сбое завершения резервного копирования
- копирование обычных данных, документов например
- сжатие и архивирование
- шифрование
- возможность настроить расписание
- запуск как службы
- opensource/freeware/
-централизованное управление, в тч удаленные офисы(белый IP имеется)

Исходя из этого я раньше уже набросал примерный список ПО, сразу описываю недостатки ПО что нашел:
- effector saver - бесплатная версия скоро прекратит существование после переписки с разрабами
- обновлятор 1С - при переносе обновлятора с другим мат платой или процом нужно покупать заново, потому что нет нормального лицензирования от разраба
- cobian backup - не смог заставить работать централизованное управление "сервер удаленного доступа", руки кривые/недоработано разрабами. ПО не обновлялось с 2012года. Не понятно как резервировать SQL версии, понятно что нужно использовать встроенные средства СУБД, но вопрос потом как отслеживать новые файлы. Например, через планы обслуживания MSSQLSErver сделал бэкап, как cobian отследит именно этот новый файл, архивирует его и соответственно отправит в хранилище, то есть чтобы cobian за архивировал только новый файл а не более ранние. Нет поддержи облаков. К cobian больше всего присматривался, если забыть об облаках.
- sqlbackupandftp - сильно ограничена бесплатная редакция, только 2 БД
- планы обслуживания Microsoft SQL Server - я так и не смог в свое время когда тестировал заставить работать DBMail. Второй момент чтобы отправить куда-то кроме как локально и сетевой ресурс, например, FTP/облако нужно задействовать другое ПО, поскольку насколько я понял MSSQL не умеет отправлять на FTP бэкапы.
-pg_dump - крайне неудобная вещь: работает через планировщик батниками, нет шифрования, нет сжатия(не нашел по крайней мере), нет возможности отправить на почту чтобы проверить, только журнал ОС - это нужно залазить на сервер и смотреть как оно там выполнилось смотря в журналы планировщика.
- postgresql backup - насколько понял ПО примерно как и sqlbackupandftp, по виду разработчики словно те же, с той лишь разницей что данное ПО только на postgresql
- microolap pago dump - сам пока не разобрался что за ПО, заточено для postgresql только
- handy backup - подходящая мне версия дорогая, 7400 руб
- acronis/EMC/прочие зарубежные именно платные системы - не рассматриваю, есть причины объяснять здесь не предоставляется возможным
Из всего данного ПО использовал: effector saver, обновлятор 1с, планы SQL, pg_dump, cobian, sqlbackupandftp.

Облака, использоваться будет или облако или ftp:
Из бесплатных облаков максимальный объем что хоть примерно подходит только mega.nz - 50GB. Стоит вопрос в каком облаке можно настроить опцию, чтобы синхронизировались либо последние N файлов из каталога на компе, или за последние N дней, иначе просто актуальные данные не будут синхронизироваться в облако по причине занятости пространства в облаке, а новые копии будут лежать только локально, но не в облаке.

Из отдельных вариантов на глаза мне попадалось еще bacula/bareos, но насколько я понял систему нужно долго нудно осиливать и конфигурировать.

Для резервной копии системного диска использовал раньше только разовую копию "архивации Windows", проблема если ставить делать копии постоянно через неё, данная система не умеет очищать старые копии, соотвественно забьет диск в ноль. Здесь из того что предварительно набрасал: Aomei backupper, EASEUS todo backup, paragon backup free, macrium free, iperiusbackup.

Понимаю что вопрос объемный, если что буду уже задавать вопросы по отдельным моментам, когда прояснится для меня ситуация исходя из того что накидал.

Comments

[Melkij]

pg_dump - крайне неудобная вещь: работает через планировщик батниками, нет шифрования, нет сжатия(не нашел по крайней мере), нет возможности отправить на почту

Потому что вы путаете инструмент снятия резервной копии и инструмент управления резервными копиями.
Это разные вещи.
Переизобрести pg_dump и поддерживать его актуальность вслед за всеми релизами postgresql трудоёмко и абсолютно не нужно для систем управления бекапами. Проще и лучше взять штатный уже написанный pg_dump и вызвать его из pre-backup скрипта, скопировать полученные файлики куда надо как обычный бекап, почистить эти временные файлики после.
И чем пытаться изобрести бесполезный забагованный комбайн неполных или даже ошибочных резервных копий - разделить инструменты на подходящие. Unix-way, утилита делает одно дело, но делает его внятно.
PS: сжатие есть в форматах custom и directory. В plain нет и невозможен, тк это plain text должен быть на выходе по определению. Что не мешает через pipe отправить на вход архиватору. Впрочем, custom банально удобнее.

bareos/bacula - главное не запутаться в паролях fd/sd/director какой указывается где. Дальше просто.

Answer 1

[Дмитрий]

Из отдельных вариантов на глаза мне попадалось еще bacula/bareos, но насколько я понял систему нужно долго нудно осиливать и конфигурировать.

Не хотите платить деньги - сидите и осиливайте конфигурацию. Не Хотите разбираться в конфигурации - платите за готовый продукт. Опционально: наймите админа.
upd:
вы очень много хотите сразу из коробки и за бесплатно. Так не бывает - вы платите или деньгами, или своим временем (что тоже деньги, работодателя или ваши)

Comments

[ТыжСисАдмин]

А я вот промолчал, меня чот в последнее время постоянно обвиняют в неадекватности, за предложение денег заплатить :D

Answer 2

[CityCat4]

Присоединюсь к Дмитрий - Вы слишком много хотите. В мире существует не так уж много успешных крупных OSS проектов, реализующих тот или иной функционал - у них у всех есть свои косяки, но люди мирятся, потому что альтернативы нет. Прежде чем искать что-то "забесплатно" и с таком вот вагоном фич - подумайте, кому надо это писать, тестить, отлаживать, разбирать жалобы юзеров?
Поддержка FTP в проектах практически отсутствует - FTP не самый простой в настройке протокол, он работает в основном там, где на защиту положен болт. 1С - это сугубо российские реалии, требуя что-то совместимое с ним Вы сразу отрезаете всех не-российских производителей.
Я так думаю, Вам придется колхозить собственный проект.

Answer 3

[АртемЪ]

Вы много хотите, и это в принципе нормально.
Но надо понимать что вот прям все что вы хотите из коробки да еще и бесплатно вы просто не найдете.

В итоге - пишем скрипты используя либо штатные методы системы - ntbackup, или сторонние компоненты имеющие API.

Ну например образ системы - как правило его не нужно делать каждый день.
Делаете скриптом образ, и копируете на сетевую шару. В облако его лить особого смысла нет как правило.
SQL базы - с помощью скрипта делаете бэкап средствами СУБД, полученный файл бэкапа этим же скриптом отправляете на сетевую шару.
Если надо отправлять в облако - есть куча консольных утилит умеющих работать с ftp, sftp, c облаком mega.nz, и.т.д. Настраиваете утилиту и в планировщик.
Если надо централизованно - все то же самое но используя какой нибудь готовый механизм для централизованного управления вроде bacula

С 1с нет никакой особой специфики -
SQL базы бэкапятся средствами СУБД - далее как обычные файлы.
Файловые базы - делается теневая копия, чтобы не выгонять народ с базы, и спокойно упаковывается в архив, и отравляется куда надо.

- возможность настроить расписание
- запуск как службы

Банальный планировщик задач windows - работает как служба пихаете все что нужно в планировщик и он будет все это вовремя запускать.

сжатие и архивирование

банальные архиваторы - winrar, 7z, дедупликаторы вроде zpaq все прекрасно запускается с батника или скрипта.

сообщение через mail о успешности/сбое завершения резервного копирования

Отправка логов на почту есть в большинстве систем резервного копирования, да и с командной строки нет никаких проблем отправить почту.
Причем если у вас централизованно лучше отправлять сообщение об успехе центральному серверу, а уж он будет отправлять сообщение вам, если вовремя не пришло сообщение об успехе.

Comments

[squidw]

Вы много хотите, и это в принципе нормально.
Но надо понимать что вот прям все что вы хотите из коробки да еще и бесплатно вы просто не найдете.

Понимаю что очень много хочу, скорее всего мне потребуется либо делать несколько вариантов развертки либо городить что-то огромное свое. Будет крайне сложно поддерживать несколько вариантов развертки если по многим клиентам разные варианты ставить, крайне сложно этим всем будет управлять и обслуживать. Проблема в том, что время вроде как идет вперед, а подобное ПО есть только в коммерческом сегменте и далеко не самое дешевое, а в Opensource примерным спорным ориентиром остается по сути только cobian на мой взгляд, остальное трудно настраиваемое и/или трудно поддерживаемое.

В итоге - пишем скрипты используя либо штатные методы системы - ntbackup, или сторонние компоненты имеющие API.

под ntbackup я так понял подразумевается система архивации Windows, но только консольная её версия или это другой инструмент?

Ну например образ системы - как правило его не нужно делать каждый день.
Делаете скриптом образ, и копируете на сетевую шару. В облако его лить особого смысла нет как правило.

Поверьте в моем случае есть выборочно клиенты, которым желательно/обязательно делать образ каждый день. Вроде как Windows имеет на борту свою систему архивации, но она крайне ограничена в функционале, опять же на ftp не бросишь.

SQL базы - с помощью скрипта делаете бэкап средствами СУБД, полученный файл бэкапа этим же скриптом отправляете на сетевую шару.

Да, но скриптом крайне не удобно, например, добавилась новая БД, или нужно делать сложную схему резервирования с разным сроком хранения месячных-недельных-дневных копий. Например для таких целей хорошо подошла бы программа sqlbackupandftp - работает хорошо, однако крайне ограничена. Причем это же всё хорошо подходит для единичных серверов, а серверов клиентов много.

SQL базы - с помощью скрипта делаете бэкап средствами СУБД, полученный файл бэкапа этим же скриптом отправляете на сетевую шару.
Если надо отправлять в облако - есть куча консольных утилит умеющих работать с ftp, sftp, c облаком mega.nz, и.т.д. Настраиваете утилиту и в планировщик.

В данном случае наверно проще через "план обслуживания", а не через скрипт делать бэкап ms sql, хотя сам с собой поспорить тут же могу.
С ftp проще, а вот по поводу отправки именно в облако по подробней скажите пожалуйста, я что-то не понял о каких утилитах идет речь. Каждое облако что попадалось мне предварительно для рассмотрения (яндекс,dropbox, onedrive, mega.nz, mail.ru, etc) имеют приложение для компа. Ту часть, которую я тестировал, а именно яндекс, mega.nz, dropbox не имеет функционала для опциальной синхронизации/загрузки в облако за последние N дней либо последние N штук в каталоге.

Если надо централизованно - все то же самое но используя какой нибудь готовый механизм для централизованного управления вроде bacula

С bacula еще не работал, но предварительно из описания насколько я понял она копирует прежде всего обычные файлы, не рассчитана на работу с БД mssql, postgresql.
Скажем так имел печальный опыт когда резервировал вместо pg_dump cobianом на windows БД, с тех пор только pg_dump либо GUI, в основе которых pg_dump (postgrebackupsql,sqlbackupandftp,etc).

С 1с нет никакой особой специфики -
SQL базы бэкапятся средствами СУБД - далее как обычные файлы.
Файловые базы - делается теневая копия, чтобы не выгонять народ с базы, и спокойно упаковывается в архив, и отравляется куда надо.

Согласен, нет специфики до той поры, пока не нужно делать всё это более менее по одному алгоритму а не руками скриптами. Например когда делаем средствами MSSQL либо pg_dump резервную копию стоит вопрос передать движение в следующую программу чтобы данная программа отследила что появился новый бэкап, взять только этот новый бэкап, архивировать, шифровать, отправить на ftp.
Если бы все были файловые базы 1С, то и вопросов бы было на порядок меньше, cobian и хватит, но условия от места к месту меняются в зависимости от ПО.

Банальный планировщик задач windows - работает как служба пихаете все что нужно в планировщик и он будет все это вовремя запускать.

опять же это руками всё. При масштабе и количестве за этим сложно будет уследить без ошибок.

банальные архиваторы - winrar, 7z, дедупликаторы вроде zpaq все прекрасно запускается с батника или скрипта.

Да, но опять же лучше когда это в пределах одного ПО.

Отправка логов на почту есть в большинстве систем резервного копирования, да и с командной строки нет никаких проблем отправить почту.
Причем если у вас централизованно лучше отправлять сообщение об успехе центральному серверу, а уж он будет отправлять сообщение вам, если вовремя не пришло сообщение об успехе.

Насчет централизации, тут я понимаю что вообще губу раскатал. Не зря поставил в самый конец, но это один из важнейших параметров. Под централизацией я понимал ситуацию когда один раз подключился и настроил какой-нибудь агент, а дальше с центрального узла управлять/добавлять что нужно, например, новый бекап новой БД. Да, да здесь я наверно в край обнаглел, не уверен что на рынке найдется такое ПО, по крайней мере бесплатное.

[АртемЪ]

squidw,

подобное ПО есть только в коммерческом сегменте

Подобного ПО нет даже в коммерческом сегменте - универсальных комбайнов подходящих всем не бывает.

под ntbackup я так понял подразумевается система архивации Windows, но только консольная её версия

Система архивации она одна, а ntbackup это просто консольная утилита для управления этой системой.

Поверьте в моем случае есть выборочно клиенты, которым желательно/обязательно делать образ каждый день.

Такое встречается- но в чем проблема делать это раз в день?

Да, но скриптом крайне не удобно, например, добавилась новая БД, или нужно делать сложную схему резервирования с разным сроком хранения

А не скриптом удобно?
Вы думаете существует какая-то программа которая будет угадывать какие базы обязательно нужно бэкапить, а какие ни в коем случае нельзя? Любую систему придется настраивать вручную в любом случае.
И скорее всего дописывать к ней скрипты.

Причем это же всё хорошо подходит для единичных серверов, а серверов клиентов много

А вы не мешайте в кучу средства создания резервных копий и средства централизованного управления резервным копированием..

Например когда делаем средствами MSSQL либо pg_dump резервную копию стоит вопрос передать движение в следующую программу чтобы данная программа отследила что появился новый бэкап, взять только этот новый бэкап, архивировать, шифровать, отправить на ftp.

Зачем?
Вы pg_dump будете как запускать? Скриптом? Ну следующей строчкой в этом скрипте и укажите перемещение куда надо.

но условия от места к месту меняются в зависимости от ПО.

Поэтому в каждом конкретном месте приходится думать головой, и подгонять существующий софт под ситуации.
Одной кнопкой сделать не получится!

При масштабе и количестве за этим сложно будет уследить без ошибок.

Сложно, но возможно.

Да, но опять же лучше когда это в пределах одного ПО.

Ни в коем случае.
Получится не ПО, а неповоротливый монстр с миллионом пользовательских настроек и собственным языком программирования на котором можно будет писать задачи по автоматизации его настройки под конкретную ситуацию.
Кому оно надо? Языков программирования и так хватает.

не уверен что на рынке найдется такое ПО

Будьте уверены - не найдется.

bacula еще не работал, но предварительно из описания насколько я понял она копирует прежде всего обычные файлы, не рассчитана на работу с БД mssql, postgresql.

Ну нахрена ей это???? Может ей еще уметь работать с MySql, PervasiveSQL, DB2, Interbase, Microsoft Access, и Redis? Причем одновременно хорошо уметь работать со всеми этими программами на Windows , Ubuntu, RouterOS, Cisco и Android?
У каждой БД есть свои инструменты управления. Ими и управляют. А системе управления резервным копированием они не нужны.

Резервное копирование каждый раз настраивается вручную под ситуацию.
Некоторые вещи можно делать более менее унифицированно на сотни машин, но только в том случае если у вас сотни абсолютно однотипных машин в домене.
А если у вас там сотня машин на всех разные ОС, на одном дизайнеры работают, на другом бухгалтера, на третьем менеджеры и вам это все бэкапить надо- думать придется в каждом конкретном случае.

[squidw]

Система архивации она одна, а ntbackup это просто консольная утилита для управления этой системой.

судя по описанию эту утилиту убрали с 2008r2 еще, насколько я помню есть wbadmin на этот счет?

А не скриптом удобно?
Вы думаете существует какая-то программа которая будет угадывать какие базы обязательно нужно бэкапить, а какие ни в коем случае нельзя? Любую систему придется настраивать вручную в любом случае.
И скорее всего дописывать к ней скрипты.

Это понятно, но например в той же sqlbackupandftp одна кнопка для того чтобы вывести все базы в экземплятре и галки для того чтобы копировать что нужно, всяко быстрее скрипта как по мне.

Ни в коем случае.
Получится не ПО, а неповоротливый монстр с миллионом пользовательских настроек и собственным языком программирования на котором можно будет писать задачи по автоматизации его настройки под конкретную ситуацию.
Кому оно надо? Языков программирования и так хватает.

Почему? Появились же давно в свое время effector saver и обновлятор 1с. ПО вроде годное и не громоздкое. Почему бы не появится к этому времени уже аналогичному ПО или расширенный функционал в текущих ПО. Я ж чего задался вопросом может существует уже что на рынке о чем я не знаю. То что я написал я понимаю что это в идеале, а по факту нужно делать либо скриптами либо попробовать организовать всё конвейером от ПО к ПО. Тот же efsaver и обновлятор 1с к текущему времени прилизаны хорошо, в моем случае по требованиям не хватает по сути только централизованного управления, но подумал может что-то на просторах opensource есть.

Я может запутал в вопросе изначально. Я понимаю что ПО для резервирования БД, ПО для резервирования файлов, ПО для резервного копирования образа системы по сути это может быть 3 разные системы резервного копирования. Так уточнение.

[АртемЪ]

squidw,

судя по описанию эту утилиту убрали с 2008r2 еще, насколько я помню есть wbadmin на этот счет?

Утилиту может и убрали, а вот сервера убрать забыли. И да есть wbadmin.

Это понятно, но например в той же sqlbackupandftp одна кнопка для того чтобы вывести все базы в экземплятре и галки для того чтобы копировать что нужно, всяко быстрее скрипта как по мне.

Она же не умеет заливать архивы в хранилище Glacier, а фтп там не поддерживается. Т.е нужно городить какой-то фтп, на который она будет заливать, а оттуда уже раскидывать куда нужно? Вот если бы она умела одной кнопкой на Glacier заливать то была бы полезна, но не слишком, потому что в некоторых случаях нужно заливать архивы на mega.nz а она опять же этого не умеет. Да банальный SFTP не поддерживает, и дедуплицировать не умеет, и сжимает плохо. И самое главное она не умеет с SQL базами данных работать! Ни с MySql ни с постгри. Нафига она вообще нужна?

Появились же давно в свое время effector saver и обновлятор 1с.

effector saver заточен для бэкапа баз 1с и мало полезен в других областях, обновлятор вообще то для обновления баз, это вообще не ПО для бэкапа.

Я понимаю что ПО для резервирования БД, ПО для резервирования файлов, ПО для резервного копирования образа системы по сути это может быть 3 разные системы резервного копирования.

Нет.
Есть ПО для резервного копирования - оно позволяет создавать резервные копии информации, а информация это всегда файлы. Поэтому это всегда ПО для работы с файлами в первую очередь.
А образ системы снять, или копию СУБД - можно штатными утилитами.

Вы похоже не с той стороны к вопросу бэкапа подходите.
Сначала определяют что нужно бэкапить, куда, как часто, насколько это важно, кто за этим будет постоянно следить и сколько на это готовы потратить. После чего составляют ТЗ на бэкап и уже по нему подбирают софт который сможет реализовать необходимое в данной конкретной ситуации.
А в другой ситуации будут другие требования и другой софт.

[АртемЪ]

squidw,

судя по описанию эту утилиту убрали с 2008r2 еще, насколько я помню есть wbadmin на этот счет?

Утилиту может и убрали, а вот сервера убрать забыли. И да есть wbadmin.

Это понятно, но например в той же sqlbackupandftp одна кнопка для того чтобы вывести все базы в экземплятре и галки для того чтобы копировать что нужно, всяко быстрее скрипта как по мне.

Она же не умеет заливать архивы в хранилище Glacier, а фтп там не поддерживается. Т.е нужно городить какой-то фтп, на который она будет заливать, а оттуда уже раскидывать куда нужно? Вот если бы она умела одной кнопкой на Glacier заливать то была бы полезна, но не слишком, потому что в некоторых случаях нужно заливать архивы на mega.nz а она опять же этого не умеет. Да банальный SFTP не поддерживает, и дедуплицировать не умеет, и сжимает плохо. И самое главное она не умеет с SQL базами данных работать! Ни с MySql ни с постгри. Нафига она вообще нужна?

Появились же давно в свое время effector saver и обновлятор 1с.

effector saver заточен для бэкапа баз 1с и мало полезен в других областях, обновлятор вообще то для обновления баз, это вообще не ПО для бэкапа.

Я понимаю что ПО для резервирования БД, ПО для резервирования файлов, ПО для резервного копирования образа системы по сути это может быть 3 разные системы резервного копирования.

Нет.
Есть ПО для резервного копирования - оно позволяет создавать резервные копии информации, а информация это всегда файлы. Поэтому это всегда ПО для работы с файлами в первую очередь.
А образ системы снять, или копию СУБД - можно штатными утилитами.

Вы похоже не с той стороны к вопросу бэкапа подходите.
Сначала определяют что нужно бэкапить, куда, как часто, насколько это важно, кто за этим будет постоянно следить и сколько на это готовы потратить. После чего составляют ТЗ на бэкап и уже по нему подбирают софт который сможет реализовать необходимое в данной конкретной ситуации.
А в другой ситуации будут другие требования и другой софт.

Answer 4

[Михаил Лялин]

Effector Saver и другие варианты под 1С - платно
бесплатно - скрипты и другие варианты