Как организовать бэкап 150gb файла на удалённый сервер?

Question

[lakegull]

На диске файловый контейнер, созданный при помощи Truecrypt, размером около 150 гб. В нём я храню все свои самые грязные секреты. Раз в неделю, в ночь с пятницы на субботу происходит бэкап этого файла на другой HDD. Давно подумываю о том, как реализовать бэкап на удалённый сервер или облако, но окончательного решения пока не нашёл.

Пока есть несколько сырых идей:

1) Как я понял целиком такой файл ни на какое облако залить невозможно (поправьте меня, если я ошибаюсь). Можно локально разбить файл на куски, по 4 гигабайта, при помощи winrar, затем уже залить на облако при помощи специального софта по расписанию. Проблема как сделать автоматическую разбивку без моего участия, потом эти фрагменты копировать в облако?
2) вообще отказать от хранения шифрованного контейнера на ПК.
Допустим этот 150гб-файловый контейнер храниться на облаке, а я могу его монтировать в Truecrypt так же, как если он сейчас храниться на локальном диске. Возможно ли реализовать такое? Или я фантазёр?
3) отказаться от использования Truecrypt и пользоваться возможностями криптозащиты, предоставляемые облачными сервисами. Если по чесноку, то я им не доверяю, так же как не доверяю облачным CRM.

Прошу мудрого совета со стороны тех, кто решал подробные задачи. Как ещё можно сделать шифрование+бэкап 150гб информации?

Answer 1

[АртемЪ]

Если вопрос чисто в том как регулярно перемещать такой большой объем информации, то -
Для этого нужен протокол работающий не с файлом, а с блоками.
Как минимум - btsync
Не идеально, но уже не полностью придется пересылать.
В идеале нужен механизм завязанный на дедупликацию, например branch-cache

А вообще по пунктам.
1) Залить на облако такой объем целиком проблематично или невозможно. Разбивать вручную это долго, и ненадежно.
2)Контейнер хранящийся в облаке смонтировать не получиться. Т.е теоретически можно, на практике такое решение работать не будет.
3)Правильно делаете, что не доверяете.
Хотя есть сервисы которые делают шифрование грамотно, например тот же https://mega.co.nz
Там шифрование идет на стороне клиента, и облако получает уже шифрованную информацию.

Comments

[lakegull]

https://mega.co.nz К сожалению этот вариант мне не подойдёт, там скорее для тех кому нужно бэкап И так далее небольшие по объёму файлы. К тому же мне под win7 надо, а там под яблоню. Хотя сама идея шифрования перед передачей хорошая.
По btsync сейчас изучаю. Пока непонятно кто предоставляет такой сервис. Ещё одна проблема: у шифрованного контейнера не меняются атрибуты при изменении файлов внутри, поэтому система не может определить старая или новая это версия контейнера.

[АртемЪ]

lakegull: По поводу btsync - это не сервис, это просто программа.
Программа для синхронизации между своими компьютерами, передача идет по протоколу torrent.

Ваши данные не заливаются ни в какое облако - на одном компьютере стоит клиент, он синхронизируется по сети с другим клиентом, или несколькими. Вся инфраструктура ваша.

При синхронизации атрибуты никакой роли не играют в данном случае.
Файл разбивается на блоки, для каждого блока считается хэш.
Файл изменился - хэш изменился, пошла передача измененного блока.

[lakegull]

Правильно ли я понимаю, что при изменении любых данных внутри шифрованного контейнера меняется его хэш?
Если да, то определённо это решает часть проблемы, но у меня пока нет возможности создать собственную инфраструктуру, поэтому буду искать другие решения.

[АртемЪ]

lakegull: Конечно хэш меняется при любых изменениях
.А в чем проблема с инфраструктурой?
У вас же вроде задача заливать на удаленный сервер?
Ставите клиент на ваш компьютер, ставите клиент на удаленный сервер - они между собой синхронизируются, вот и вся инфраструктура.

[lakegull]

Видимо возникла путаница в понятиях. Про удалённый сервер, это я про любые сторонние сервисы, на которые можно заливать большие файлы. Своей инфраструктуры нет

Answer 2

[Inter Plotnik]

Можно использовать протокол FTP
Арендуешь удаленный сервер с нужным объемом HDD, поднимаешь FTP сервер и заливаешь туда.
В инете есть куча программ которые делают заливку файла по расписанию на FTP

Ограничения по размеру нет, если только инет падет то может ошибка произойти или ограничения со стороны сервера

Comments

[lakegull]

А какова примерная стоимость аренды такого сервера?

[АртемЪ]

От 500рублей и выше, в зависимости от требований по скорости доступа, и по объему прокачиваемого трафика.
Но вообще в вашем случае это бессмысленно.

[lakegull]

Посмотрел варианты, посчитал. Правда бессмысленно - в моём случае нужно 3000 в месяц тратить.

[Николай Ковалев]

lakegull: посмотрите https://backupsy.com , там в верху купон на 40% скидки, т.е. 6$ за 250Gb. Шифровать можно на сервере с помощью dm-crypt, а на винде попробовать Duplicati

[lakegull]

Николай Ковалев: спасибо, изучаю

Answer 3

[Saboteur]

Почему именно 150гб?
Не слишком ли много? Сколько реально занято? Сколько из него занято под "грязные секреты", а сколько просто личных фоток, которые не так уж часто и обновляются, и хранить их в облаке нет смысла?

Если на самом деле данных мало, можно пересоздать трукрипт диск на динамический, который на диске будет занимать именно столько, сколько там данных и автоматически расти, если дописываешь.

Comments

[lakegull]

Это как раз вопрос о том, как будет организованно хранение данных на локальном ПК. Я тут подумал, что не могу позволить себе хранить данные в открытом виде, а шифровать только для бэкапа на сервер, поэтому скорее всего без файлового контейнера не обойтись. Поэтому пересылать прийдётся либо все 150 за раз, создать несколько файловых контейнеров, раскидав информацию по частоте обновления. БОльшую часть занимает база данных размером около 90гб. Остальные файлы по мелочи.

[АртемЪ]

lakegull: Если речь идет о бэкапе, то зачем вам такие монстры типа трукрипта?
Не проще ли шифровать архиватором? Персонально каждый архив?

Опишите более детально что и как вам нужно шифровать, и куда и для каких целей передавать, и можно будет подсказать более подходящее решение.

[Saboteur]

lakegull: обычно базы очень неплохо архивируются, поэтому если на другой винт делать сразу архив с паролем, то база будет занимать гораздо меньше, а во вторых при современных процессорах, скорее всего все упирается не в сжатие а в скорость чтения/записи, поэтому может оказаться даже быстрее. А если база еще и ужмется раз в 5-10, то у вас сразу в два раза меньше объем выйдет.
В облаке можно снять виртуальный сервер, потому что объемы в виде 50-100гбайт дешевле в виртуальных серверах, чем в облаке или хостинге. Но опять таки, если все сархивировать, то сколько места займет?

[lakegull]

Если бы задача была просто делать бэкап всех файлов, хранимых на ПК, предварительно защитив их от несанкционированного использования то я бы так не заморачивался. Я хочу обеспечить защиту от физического угона системного блока, поэтому все файлы на диске должны быть зашифрованы. Основной объем занимает, как я уже сказал, база данных размером 90гб, остальные файлы до 5 гб каждый. В сумме примерно 130 гб + свободное место для роста.

[lakegull]

Сергей: пробовал архивировать: Макс 20% экономии прибавляет, к тому же это если использовать сильное сжатие, соответственно долго.

[Saboteur]

lakegull: Вы архивировали трукрипт или саму базу?

Ну и да, от физического угона проще виртуальный сервер в облаке, и синхронизировать.
Базу можно повесить на репликацию, тогда не нужно будет гонять 150 гб, только изменения периодически.

[lakegull]

Архивировал саму базу разумеется. То есть по вашей затее база данных в облаке всёравно будет храниться в незашифрованном виде? Если да, то такой вариант меня не устраивает. В облаке работать не хочу, только бэкап туда сливать.
Системный блок стоит в офисе. Система полностью настроена и в ней удобно работать. Просто я хочу спать спокойно: если мой офис ограбят по наводке, то я от этого потеряю только железо. Куплю новое, восстановлю данные и продолжу работать дальше.

[Saboteur]

lakegull:
В облаке в другой стране вы можете взять виртуальный сервер, на котором создать тот же трукрипт контейнер. То есть пока система загружена - вы имеете туда доступ. Если кто-то ее перегружает, чтобы получить доступ внутрь - трукрипт диск сам по себе не поднимается.

Ну и опять таки все зависит от базы. Если старые данные не меняются, то можно просто инкрементальные архивы выкладывать.

[Inter Plotnik]

А можно вообще базу хранить на удаленном сервере и там же делать бекапы на случай системного краха.
А с рабочего компа только управлять БД.

У меня был подобный случай. Благо я информацию нужную на не секретную храню в дроп бокс, а проекты которые пишу и БД к ним на удаленном сервере

[lakegull]

Григорий Byrger: Сергей:
пришёл к выводу, что без шифрованного трукрипт-контейнера не обойтись. Иначе слишком многое необходимо будет перестраивать в работе. Поэтому теперь задача сводиться к тому, как организовать удалённый бэкап. Установил Bit Torrent Sync: getsync.com. Удобный интерфейс, настроил синхронизацию между двумя компами дома. Только пока не разберусь как изменить частоту синхронизации: значение MD5 поменялось, но синхронизации не происходит. Ещё вопрос, возможно ли установить btsync клиент на VPS сервер или облако?