Каким ПО можно выполнять быстрое резервное копирование каталогов с большим количеством файлов(несколько миллионов)?
Задача звучит так:
Есть каталог с файлами. Он внутри разбит на подкаталоги по датам \YYYY\MM\DD\.
Каждый день в него добавляется 20-40 тысяч JPG файлов по 250кб.
Файлы хранятся несколько лет.
Файловая система - NTFS, 8dot3name отключено (иначе всё очень плохо и медленно).
Дисковый массив - два десятка 1.8TB 10K HDD, RAID10, 512MB кэш контроллера, DELL PERC H700.
Необходимо выполнять резервное копирование этого каталога каждый день.
Сейчас для резервного копирования используется Cobian Backup (в WS2012R2).
Полные раз в 60 дней + инкрементальные копии каждый день с логикой на архивном атрибуте файлов.
Хранение в 7zip без сжатия, иначе файлов в файловой системе на бекап сервере копится очень много файлов, и сложно определить в каком каталоге занято место (при помощи WinDirStat или TreeSize).
Проблемы с Cobian Backup следующие (работа над ним не ведётся минимум с 2014г.):
1. Задание полного бекапа раз в 60 дней длится сутками.
2. В середине выполнения задания служба может перестать отзываться и её нужно прибивать.
3. Иногда служба может упасть.
4. Таких каталогов несколько, и заданий соответственно.
В Cobian Backup есть ещё ~50-70 мелких заданий, но до появления этих больших с ними проблем не наблюдалось.
Понятно, что ПО, которое делает копии используя VSS и образы всего раздела, будет более производительным и менее проблемным в плане выполнения бекапа, НО:
1. На этом разделе присутствуют другие каталоги, которые не нужно включать в бекап.
2. К копии должен сохраняться простой файловый доступ (как к файлам или архивам).
В результате всего вышеперечисленного, для решения задачи разыскивается современный аналог Cobian Backup, который умеет:
1. Инкрементальное/дифференциальное копирование каталога с файлами по расписанию.
2. Хранит бекапы в виде файлов или архивов, к которым легко получить доступ. (поэтому использование мощных решений для бекапов затруднительно (типа SCDPM, Acronis, Symantec/Veritas, Bacula, etc.)
Наиболее близкий аналог найденный за последнее время это APBackup, это крайний запасной вариант.
Но в нём невозможно настроить в одном задании полный+инкрементальный бекапы и с учётом количества заданий, сопровождение этого списка становится проблемой.
VSS не препятствие для работы с конкретными папками или файлами. Мало того, если ПО работает со снапшотом VSS, у него заведомо нет конфликтов записи в файл. Занюханный windows backup умеет бэкапать каталоги отдельно (пусть и пихает их в VHD/X) и работает через VSS. (Правда он вам не подходит из-за этого как раз)
Cayp, Несколько вопросов -
Вам нужен бэкап или архив? Или то и другое вместе?
Бэкап это резервная копия, доступ к ней получают только если все упало. Архив это архивная копия - хранилище истории, куда регулярно ходят пользователи и чего нибудь добывают.
Какая ОС?
Максим Гришин, да, я рассматривал такой вариант тоже, но хранение в инкрементальных vhdx, в которые сложно просто так заглянуть - всё портит.
Плюс отсутствие центрального управления (когда бекапы надо собирать с разных серверов на один бекап сервер) всё очень сильно затрудняет. SCDPM, конечно, решает эту задачу, но там всё ещё хуже с заглядыванием внутрь копии и для неквалифицированных пользователей не подходит.
Сергей Савостин, это действительно хороший вариант, хоть и придётся самостоятельно поддерживать скрипты и расписание, но текущая логика приложения не запрещает изменять файлы, полученные ранее.
1. Бесплатная редакция функционально повторяет Windows Backup +- некоторые настройки. Основное отличие в пофайловом восстановлении в случае необходимости.
2. Надо устанавливать и настраивать расписание на каждой машине локально.
3. Это никаким образом не рядом с Cobian , где в качестве источника можно указывать сетевой каталог и централизованно настраивать расписание.
Если я как-то непонятно написал в самом вопросе - проблема с Cobian не в функционале, а в его стабильности. Поэтому разыскивается современное ПО с аналогичным функционалом, а не только какая-либо система резервного копирования, которая умеет бекапить диски с кучей файлов.
