Регулярное резервное копирование довольно больших объемов данных (~500гб) с домашнего ПК в удаленное место?

Question

[vibe-vibe]

Как удобней решить эту задачу? Регулярно делаю бэкапы на HDD, который лежит у меня в квартире - но хочется обезопаситься от пожаров и т.п. Решение для себя нашел в том, что раз в полгода закидываю бэкап на яндекс диск, но медленная скорость отдачи(1 - 2 мбит/с) огорчает. Как повлиять на скорость отдачи в сторону увеличения, я не знаю. Может, есть какие-нибудь более удобные методы, чем заброс на облако?

Answer 1

[АртемЪ]

Как удобней решить эту задачу?

Смотря в чем проблема.
Если проблема в скорости передачи - нужно либо канал пошире, либо минимизировать количество передаваемых данных.

Вот например вы делаете бэкап за полгода - у вас реально за полгода добавляется 500Гб которые нужно арихвировать? Или вы просто повторно передает данные, которые уже есть в архиве?

Comments

[vibe-vibe]

Тариф у меня 100 мбит, если в торрентах раздаю, скорость раздачи, бывает, доходит близко до тарифовой. Объемы я и так вручную сокращаю перед бэкапом, исключаю объемные файлы.

Или вы просто повторно передает данные, которые уже есть в архиве?

Это.

[АртемЪ]

vibe-vibe,

Тариф у меня 100 мбит, если в торрентах раздаю, скорость раздачи, бывает, доходит близко до тарифовой

Тариф в 100мбит означает что ваш провайдер предоставляет вам доступ в интернет, и если вы будете передавать или получать данные со скоростью более 100мбит, он будет вас ограничивать.
Если же вы будете передавать данные с меньшей скоростью, он вас ограничивать не будет.
Например вы передаете данные со скоростью 1мбит - провайдер вас не ограничивает.

По поводу данных - передавайте только новые или изменившиеся данные, сжимайте данные для уменьшения объема передачи.

[АртемЪ]

Вот например у моего клиента есть файлообменник с данными около 3террабайт.
Задача - организовать ежедневный бэкап на удаленный сервер.

Передавать ежедневно по сети 3 террабайта нереально.
Поэтому - сначала сжимаем и дедуплицируем данные, и передаем получившийся архив размером 1,2Тб на удаленый сервер, а потом каждый день передаем только изменения - по 1-30гигабайт в день. В среднем получается примерно 2гигабайта за день.

[vibe-vibe]

Не понял про ограничения.. ну вот пусть провайдер меня и ограничивает 100 мбит, я не против. Но по факту реальная скорость передачи 10-20 мбит, и тут хрен разберешь, кто виноват, или провайдер, или яндекс диск.

[АртемЪ]

vibe-vibe, А что понимать - если скорость больше 100мбит - провайдер ее ограничит до 100.
Если скорость меньше- например 10-20 мбит то все прекрасно.
В чем проблема, то?

и тут хрен разберешь, кто виноват, или провайдер, или яндекс диск

В чем виноват???.

[vibe-vibe]

Проблема в том, что 10-20 мбит меня не устраивают. Хотелось бы хотя бы 50 мбит. Вы намекаете, что провайдер не при чем, передачу ограничивает не он? Ох и сомневаюсь.

[Дмитрий]

vibe-vibe, есть 3 точки (на самом деле больше) которые влияют на скорость передачи: источник - транспорт(провайдер) - получатель. Убедитесь что источник может читать и передавать дальше данные с желаемой скоростью. Убедитесь что провайдер (по сути все провайдеры до получателя) могут передавать с желаемой скорость. Убедитесь что получатель может принимать и писать данные на необходимой скорости.

или яндекс диск

вы за него платите? если не - читайте ограничения. Яндекс не сервис для бекапов и долгую нагрузку на запись может резать(шейпить). Там ещё куча ограничений - например на размер файла

[АртемЪ]

vibe-vibe,

Вы намекаете, что провайдер не при чем, передачу ограничивает не он? Ох и сомневаюсь.

Провайдер это организация которая предоставляет вам доступ в сеть интернет. В соответствии с тарифом скорость передачи данных не может превышать 100мегабит.

Он ни в коем случае не гарантирует скорость передачи данных.
Он просто физически не может обеспечить какую-то определенную скорость

Его задача - обеспечить передачу ваших данных в сеть, и обратно.
Вот например вы пытаетесь закачать данные в облако яндекса - ваш комьпютер разбивает данные на пакеты и отправляет их на ваш роутер, ваш роутер отправляет их на шлюз вашего провайдера, ваш провайдер отправляет их на шлюз другого провайдера, другой провайдер отправляет их третьему провайдеру а тот передает их на роутер яндекса, после чего данные идут по внутренней сети яндекса, попадают на сервер.

Любой из роутеров и шлюзов может ограничивать передачу данных, сервер на который вы закачиваете тоже может ограничивать. Они передают столько данных сколько могут, остальные пакеты банально уничтожают. Так работает сеть интернет.

Ваш провайдер просто физически не может как то влиять на производительность роутеров третьих провайдеров, роутеров, и серверов яндекса и ширину их каналов.

Если вы качаете файл с моего ФТП - я могу ограничить вам скорость скачивания, мой провайдер может ограничить вам скорость скачивания. Ваш то провайдер как на это может повлиять? Бандитов прислать чтобы они под дулом автомата не разрешали мне снижать скорость на своем сервере?

[vibe-vibe]

Теперь понятно. Но мне от этого не легче :)

[АртемЪ]

vibe-vibe, Используйте нормальное ПО для бэкапа, и не передавайте данные повторно.

Answer 2

[Drno]

ПОпробуйте копировать только изменившиеся данные.
Напрмиер позволяет утилита rclone... с ключом синхронизации.
Проверяет и сравнивает файлы и копирует только измененные данные.

Comments

[vibe-vibe]

Да, видимо, придется задуматься над подобными решениями.

[Drno]

vibe-vibe, ну это самый правильный вариант. Зачем гонять неизменяющиеся данные

[vibe-vibe]

На самом деле, у меня несколько пк, с разными ос, поэтому есть сложности.

[Drno]

https://rclone.org/downloads/
ключи одинаковые