Сейчас есть архив видео (много крупных файлов) около 10ТБ. Это уже больше любого существующего HDD и в ближайшее время архив будет расти стремительно. Можно все это бэкапить на Amazon Glacier, будет стоить $10 за тер в месяц, выйдет в итоге $500 в месяц что как-то совсем много.
Я готов купить текущие максимальные 6-8ТБ HDD и бэкапить домой, но не делать же дома отдельный storage с RAID-массивом. Хочется что-то вроде последовательного бэкапа, подключил раз в неделю винт по USB, включил бэкап и он тянет все от последней точки бэкапа. Винт кончился, купил новый, бэкапим на него, только инкрементальное добавление, к заполненным HDD можно не возвращаться, в архиве редко что-то удаляется, этим можно пренебречь. Дома windows, на сервере unix. Есть ли что-то готовое под такую задачу? Похоже нужен софт который бы вел список уже забэкапенных файлов и которому не нужно было бы проверять что лежит на предыдущих недоступных HDD.
Текущее решение. Неидеально, но объем забот сведен к минимуму. На сервере в каталоге хранения заведены подпапки
/data/01
/data/02 и т.д.
в них перенесены текущие файлы по 6-8ТБ под размер бэкапных винтов.
В скрипте который разгребает все входящее целевая папка заменена на /data/03 - в нее он складывает файлы после обработки и в /realdata/ делает симлинк для будущих нужд.
На сервер установлен Bittorent Sync - каждая папка добавлена в него отдельной строчкой и целиком бэкапится в один винт. После чего может быть удалена.
Раз в квартал меняем директорию в скрипте, добавляем новый синк в BS и дома ставим новый винчестер в крэндл который на картинке ниже. Если накопились излишки в предыдущей папке - перекидываем на сервере в следующую, BS все пересчитает очень быстро.
В чем проблема дома подключить винт и расшарить его на ваш сервер (Windows, если не серверный, позволит это сделать через тот же SMB)? А на сервере уж как душе угодно делайте бэкапы (скриптами, софтом) на смонтированный диск.
P.S. А почему не подключить винт напрямую к серверу по тому же USB?
Сергей Краснопивец: Сервер далеко. А монтировать придется в обратную сторону, с сервера домой, а дома HDD не всегда подключен. Но идея интересная, на серверной стороне все можно как-то поумнее автоматизировать. Вот только как монтировать HDD, чтобы не каждый раз вручную ВПН поднимать и потом монтировать еще...
Антон Кузнецов: Не важно в какую сторону монтировать, поднимите NFS шару на стороне сервера (NFS-клиент в окнах вроде как есть) и монтируйте ее на домашней машине.
"а дома HDD не всегда подключен. Но идея интересная, на серверной стороне все можно как-то поумнее автоматизировать." - в данном случае все решается на клиентской (домашней) машине через "Планировщик задач":
1. Подключается диск ->
2. Поднимается VPN до сервера (можно и без VPN при наличии "белого" адреса) ->
3. Монтируется NFS шара ->
4. Запускается скрипт/ПО бэкапа -> забирает контент с шары ->
5. Отключается шара ->
6. Гасится VPN (Опять же при наличии)
Как вариант, можно VPN держать постоянно. Я думаю, что у вас дома есть роутер - поднимите на нем тоннель и настройте маршрутизацию.
Да, у меня дома именно такой блок на два внешних винта. Вот бы еще бэкап-решение на мою ситуацию.
Пока все помещалось в пределах одного HDD - bittorent sync был прекрасным решением, но сейчас нужен софт который будет копировать все от заданной точки, желательно чтобы он сам ее и помнил.
Уточните задачу:
1. Есть видео-хранилище, объемом до 50Т, и это хранилище нужно периодически бэкапить?
2. Или есть "небольшое" хранилище - 2-4Т - из которого периодически нужно перемещать или копировать в архив свежие фильмы?
APBackUp - использую в режиме Архивирования (ЗИПует файлы), но может и просто копировать/перемещать файлы. Ваш вариант - то ли дифференциальный, то ли инкрементный режим - сбросит только новое.
Наверное, есть и другие файловые архиваторы - меня этот устроил, я и не искал другого.
Есть хранилище - 10ТБ, оно только что выросло за пределы одного HDD и будет расти до 50ТБ. Нужно регулярно бэкапить новое. Проблема в данном случае в том, что подключен только текущий HDD и софт не знает что на предыдущем записано. Наверно я сейчас понимаю что нужен софт который будет вести список того что уже в бэкапе, а не ориентироваться на то что он видит на бэкап-хранилище.
Антон Кузнецов: Тогда - APBackUp в режиме инкрементного архивирования подойдет. Что уже лежит в архиве - он не смотрит. При архивировании он снимает атрибут "Архивный" с каждого заархивированного файла. При следующем запуске - архивирует только новые файлы с установленным атрибутом "Архивный".
Список заархивированного тоже может сделать. Но это так - для сведения.
