Какие программы подойдут для резервного копирования клиентских ПК с медленной сетью и большим объемом данных?

Question

[tictac17]

Здравствуйте!
Много лет использую систему UrBackup, но в последние годы ее качество стало досаждать своими ошибками. Подумываю над переходом на другую систему, проблема только в том, что не нашел ничего подобного. Если кто сталкивался, что можете подсказать для таких требований:

1) сеть медленная, около 20 Мбит/с, т.к. сервер резервного копирования в одном городе, а офисы в других.
2) в среднем на одном ПК около 50 ГБ инфы под резервное копирование. В сочетании с п.1 вещи вроде Veeam Agent for Windows, Acronis и т.д. с их стандартной методикой с чередованием полных и инкрементных копий сразу мимо (по 50 ГБ копировать с двух десятков ПК даже на гигабите выходит по времени более 2 часов на полную копию, сеть в этот момент "лежит").
3) нужно централизованное управление, с командным центром, как в UrBackup. Чтобы можно было видеть актуальность бэкапов каждого ПК в виде таблицы, настраивать из одного места расписание, пути бэкапа и т.п. Cobian Backup и подобное сразу мимо получается.
4) Желательно, чтобы было как в UrBackup - идентичные копии файла хранятся лишь в одном экземпляре в разрезе всей системы. Это, не побоюсь этого слова, колоссально экономит место при достаточной надежности (у меня RAID1 под каталог резервных копий).
5) Сервер на Linux.

На данный момент только UrBackup полностью покрывает все пункты. Я в нем отключил полные копии, и система делает все время только инкрементные. Объем передаваемых данных настолько мал, что все дневное копирование занимает менее получаса для 20 ПК. При этом его инкрементные копии не отличаются от полных, так как используются жесткие ссылки на неизмененные файлы предыдущих копий.

Сейчас у меня в голове крутится мысль настроить со всех ПК синхронизацию (она в последствии только дописывает измененные файлы и удаляет более несуществующие) в каталог SMB каждый в свою папку, а после весь каталог средствами сервера уже бэкапить с версионированием тем же Acronis, Veeam или же взять существенно более экономные в плане места Restic, Borg-backup. В итоге получится, что у меня будет в одном каталоге полная копия-зеркало всех ПК, которую потом для версионности сам сервер бэкапит еще раз классическими средствами. А в случае Windows Server, можно было бы вообще задействовать теневое копирование. Но у такого подхода жирный минус - нет централизованности, на каждом ПК допустим тот же FreeFileSync настраивать нужно "на месте", отвлекать сотрудника. Еще минус, что если папок для бэкапа больше одной, то нужно настраивать синхронизацию для каждой, делать подкаталоги и т.п. - муторно это, когда в том же UrBackup я просто указываю список и он делает все сам. Ну и вишенкой на тортике будут шифровальщики, которые заразив клиентский ПК могут воспользоваться его доступом к его личной папке с зеркальной копией на сервере рез.копир. и потереть его данные там тоже. Да, на сервере будет еще одна копия, но ее актуальность на день-два-три будет ниже.

Еще вариант вместо программы для синхронизации использовать частное облако с клиентом для Windows (Nextcloud например) в качестве средства "доставки данных на сервер". После бэкапить на самом сервере весь каталог облака. Минус - можно указать лишь одну папку для синхронизации. Так совсем не годится.

Впрочем, для обхода ситуаций с "много папок на клиенте в разных местах" можно делать символические ссылки на них в одну папку, и ее уже зеркалить. FreeFileSync умеет разрешать ссылки (follow symlinks) например. Наверно сгодится и для Nextcloud, думаю.

PS: заранее извините за "много текста".

Comments

[Drno]

rclone жеж + некстклауд
И указывай в батнике сколько угодно папок.
Да, центр управления нет. Но для 20пк это не критично

Ну или используй старые версии urbackup

Можно попробовать еще bacula настроить

[tictac17]

Bacula пробовал, это жесть (не осилил скажем так). Старые версии UrBackup содержат неприятный баг с кириллическими именами более 128 символов, не годится.
Rclone - интересный вариант, спасибо, проработаю. Там ведь искомый increment-forever будет, да?)

[tictac17]

Да, ведь еще важную деталь забыл указать - UrBackup копирует в рамках очереди (у меня например, не более 3 ПК одномоментно). Rclone, запущенный одновременно на 20 ПК, даст хорошую нагрузку на сервер и каналы. А запускать надо каждый день и желательно утром, мало ли у кого новой инфы на много гигов, что и дня мало будет на копирование

[RStarun]

С бакулой на самом деле все не так сложно. Но хранить файлы в единственном экземпляре (дедупликацию) она не умеет. Это только если в качестве файловой системы хранения использовать что-то с дедупликацией, а бакулу заставлять разжимать данные по получении.
В том же veeam/bacula/bareos есть вариант бэкапить данные на хранилку которая в самом офисе. А по ночам делать миграцию или синхронизацию полученных бэкапов. Заражение офисной сети не должно затронуть офисную хранилку, а вот пожар/потоп затронет.
Еще один вариант это перенаправляемые папки. Если у пользователя на компе все его окружение (рабочий стол, документы) будет на самом деле храниться на сервере, то и бэкапить данные нужно будет только с сервака.

[tictac17]

RStarun, хранилка на 2-3 сотрудника (и так в нескольких офисах) все же дороговато, в том числе в плане ее периодического обслуживания (стоимость владения). Перенаправляемые папки, насколько знаю, не особо шустро работают с большими объемами, хотя возможно я неправ.

[RStarun]

tictac17, хранилка не в смысле NAS, а в смысле storage в терминах бакулы или veeam. Оно, кстати, может быть и на винде теоритически. То есть на одном из компов. Но в этом случае от заражения не спасет.
На 2-3 сотрудника согласен - не вариант.
А чем таким интересно занимаются сотрудники что по несколько гигов данных генерируют за день?

[tictac17]

RStarun, там по-разному. Например, сотрудники зачастую не заморачиваются над вещами вроде удаления zip-папки с трехгиговым проектом, более не нужной после отправки его по почте. И лежит потом такая папка с сотней других рядом с оригиналом. Встречаются и те, кому лень разбираться и они тупо делают копию чего-либо, работают в ней, потом еще пару копий сделают. Большинство ПК таким образом представляют из себя мусорку, из которой ничего не удалишь по типу "не помню что это, разбираться лень, пусть лежит - вдруг пригодится". Объяснять что-то тоже бессмысленно, т.к. есть такие, кто путает ЛКМ с ПКМ и вообще не понимает, зачем в мыши две кнопки (боюсь представить, если им выдать какую-нибудь Х7 мышку к примеру). Спорить, регулировать как-то приказами это без толку, так с самого начала заведено и непоколебимо. Про заражение тоже больная тема на самом деле, т.к. вопросы вроде "чем открыть файл .scr с закрывающими документами, присланный по почте", все еще слышу.

Answer 1

[Сергей Кузнецов]

Veeam Backup полностью удовлетворяет вашим условиям.
1) 2) Копируются только изменения. Первый полный бэкап можно и потерпеть (либо использовать переносной диск), дальше создаются синтетические полные копии быстро если надо.
3) Управление всеми копиями из единой админки
4) Поддерживаются репозитории на ReFS под Windows и XFS на Linux. Оба варианта поддерживают быстрое виртуальное клонирование секторов. У меня на одном архивном томе в 5ТБ помещается 18ТБ бэкапов. Каждый день инкрементный снапшот, один комп вообще каждые два часа сохраняю. Раз в неделю создаются полные копии на основе предыдущих инкрементов.
5) Сервер управления там только под Windows, но на Linux можно хранить репозиторий в XFS, что даёт так же дополнительную фичу неизменяемых бэкапов. Чтобы даже в случае компрометации сервера, вирус не смог бы удалить бэкапы.

Comments

[tictac17]

Не нашел опции синтетических полных бэкапов в Veeam Agent. У меня создавалась одна полная и бесконечное количество инкрементных. Может такой функционал реализован только при использовании их Backup Server как репозитория? В Агенте есть еще опция периодического сжатия копий, она убирает старые инкременты, но дает куда большую нагрузку на сеть, чем простой полный бэкап.

[Сергей Кузнецов]

tictac17, вы же спрашивали про централизованное управление? В голом агенте мало настроек в заданиях. Бэкапами лучше управлять с сервера.
И backup server и репозиторий это разные понятия в veeam

[tictac17]

спасибо, посмотрю

[Сергей Кузнецов]

tictac17, когда посмо́трите, отметьте ответ как решение, если не трудно.

[Павел]

Сергей Кузнецов, а это платная экосистема?

[Сергей Кузнецов]

Павел, основные функции бесплатны с некоторыми ограничениями.
Нельзя в расписании бэкапить больше десяти компов например, но это обходится установкой дополнительного сервера.
Недоступны фичи WAN-прокси и нет работы с облачными хранилищами. Мы этим не пользуемся.
Нельзя собрать тестовую лабораторию для проверки восстановления бжкапов

Для небольшой организации бесплатного функционала более чем достаточно.

[Павел]

Сергей Кузнецов, спасибо, я тоже просто urbackup использую, но за veem давно слышал но его "грамоздкость" меня отпугнула, слишком много разного всего как будто
попробую

[Сергей Кузнецов]

Павел, я про urbackup узнал позже и не пробовал его в деле.
Veeam ноавится своей скоростью. Буквально несколько минут отрабатывает каждую задачу с терабайтными дисуами. Он заточен по бэкап виртуалок, но и обычные компы тоже быстро бэкапит.
Под сервер управления нужно много ресурсов, желательно 8ГБ оперативки и том под бэкапы форматировать в ReFS с размером кластера 64K, иначе быстрое клонирование не заработает.

Answer 2

[rPman]

Я помню для машин на windows7 использовал bat-скрипт (он уже не подойдет для win10) который делал примерно то же самое, создавал теневую копию копируемого диска, запускал rsync, который для дубликатов на основе предыдущего копирования создавал символические ссылки.

rsync -avh --link-dest=previous_backup/ source_directory/ new_backup_directory/

source_directory/ - это каталог, который нужно скопировать.
new_backup_directory/ - это каталог, в который будет создана новая резервная копия.
previous_backup - это предыдущий каталог резервного копирования. rsync будет создавать символические ссылки на файлы в этом каталоге, если они не изменились.

rsync можно брать как нативный виндовый так и использьзовать linux через wsl, рекомендую нативный (который на основе mingw)

По поводу работы с этим по сети, лично я делал не стандартно, диск, на который происходило копирование подключался по сети как блочное устройство (.vhd/.vhdx), сам же файл по сети раздавался сервером.

Делал я это потому что в моей задаче не сервер инициировал копирование, а клиент. Так же полное сканирование диска локально проводится на порядок быстрее, чем по сети. Так же работа с .vhdx благодаря монопольному доступу и штатному кешированию записи на порядок быстрее именно по сети.

Копируя файлы с нескольких машины по очереди на один и тот же диск у меня появлялась возможность отдельным приложением сканировать диск на одинаковые файлы и делать их так же символическими ссылками (т.е. в пределах резервных копий с одной машины ссылки создавались с помощью rsync, но между машинами нет).

Недостаток такого копирования, через год на диске, куда складываются копии, накапливаются миллионы файлов (сотни символических ссылок), если старые копии не удалять то проверка на ошибки затягивалась на часы... я помню скриптом держал десяток последних копий, еще десять ежедневных а промежуточные и старые удалял.

p.s. что значит интерфейс управления резервным копированием?

Comments

[tictac17]

Оригинальный способ, но как машины не конфликтуют за файл вирт. диска? Используется инициатор iSCSI?
Интерфейс - центральный командный пульт системы, например на скриншоте ниже я вижу время, когда клиент был в сети, дату последнего бэкапа и статус. Есть и другие страницы, где можно настроить клиента, в том числе лимиты, пути и много другого. Еще и все логи в одном списке.

[rPman]

tictac17, по очереди, у тебя же сеть медленнее дисков
с iscsi та же фигня, он не должен использоваться одновременно (точнее разные разделы можно)

Точное время копирования я видел по дате создания каталога (имя каталога - yyyy-mm-dd без часов и минут), сам факт наличия каталога на дату - уже информация, но если что никто не мешает логи писать тем же скриптом, который запускает rsync, ошибки мониторить ведь надо

[tictac17]

Что по очереди, это очевидно, но как быть в ситуации, например когда на одном клиенте внезапно появилось много файлов на копирование, и он не "влез" в свой интервал времени. Ведь клиент А не скажет клиенту В "я всё, теперь ты", координации между ними в такой системе же не будет. Это или разбивать по дням - сегодня А, завтра В, после клиент С, или.. Запускать в цикле скрипт, пока не освободится вирт.диск (наверно это как-то можно проверить средствами win)?

Спросил, потому как у меня было такое, что заменили битый диск в клиенте и восстановили данные из бэкапа, но UrBackup решил, что это новые данные, т.к. дата создания не совпадает (дата изменения файлов прежняя), и надо скачать их еще раз. И скачивал он дня три примерно, там папка была на что-то около 300 ГБ) Остальных клиентов он выстроил в очередь, через три дня в итоге все забекапились без проблем.

[rPman]

ааа, проще конечно нужно назначить главного, который будет следить за расписанием и по очереди опрашивать машины, какая отозвалось, на той запускать через ssh (на виндовых машинах теперь это штатный функционал).

У меня была ситуация когда на сервере не было возможности скрипты запускать (это был nas, он только файлы хранил) и каждая машина раз в час запускала скрипт, который в цикле проверял занятость файла с бакапами (там был лок файл) и если занят, ждало минуту и повторяло попытку.

Совет, не мучайся с bat/cmd пользуйся адекватными языками программирования, тем более штатно javascript/vbscript/c#/... поддерживается windows без установки приложений и сред разработки.

[tictac17]

rPman, как вариант, на том же c# в принципе несложно написать программу, которая будет получать команды с сервера и выполнять бэкап в назначенный интервал, может даже с поддержкой заливки нового конфига

[rPman]

tictac17, конечно можно но вообще то я имел в виду скрипт на 5-10 строчек, на нормальном языке программирования, чтобы с датами не извращаться (видели бы вы как это решают на bat и bash), коммуникация между машинами в сети с появления ssh сервера в штатной конфигурации (до этого у народа были проблемы с не латиницей, если решать в лоб) вообще не проблема.

Answer 3

[Роберт Мартиросян]

FreeFileSync
https://freefilesync.org/

Бэкапит не всё, а только изменения с последней синхронизации, есть множество вариантов направлений и методов, и прочие фишки.
Насчёт авоматизации и центрального управления не пробовал, не знаю, но если задонатить эту бесплатную программу, то открываются дополнительные возможности, ну и суппорт вроде адекватен, ....
Возможно вам сгодиться.
Удачи!

Comments

[tictac17]

Спасибо. Использовал ее когда-то для бэкапа, главная фишка - программа сохраняет старые версии и удаленные файлы в указанную папку (отличная защита от шифровальщиков). Но отсутствие централизации и необходимость "ручками" на каждом ПК ее настраивать меня не устроила. Плюс неудобно, что нужно создавать отдельного юзера и из под него запускать программу, если бэкапы ведутся по SMB, чтобы шифровальщики не потерли всё. И главный минус - если нужно бэкапить не одну, а 5-10 папок из разных мест диска, то настройка становится еще утомительнее, в отличии от того же Urbackup, где я бы просто указал список папок и все, а он сам уже разберется как это бэкапить и куда складывать. Имхо, это больше "домашнее" решение..

[Роберт Мартиросян]

tictac17,
Спасибо за информацию!

[OlegusMDH]

Спасибо за наводку. Успешно применил для бэкапа разных шар на NAS.