Как и куда реализовать бэкап большого объема данных?

Question

[bop0hz]

Есть форум, объем данных (аттачей) около 700 гигабайт, подскажите, как и куда лучше реализовать бэкап?

Answer 1

[SimWhite]

Мало информации. Как хранятся аттачи? Где расположен сервер? Какая скорость каналов? Возможность установки своего оборудования? Ну а на вскидку: s3cmd и в Amazon S3.

Comments

[bop0hz]

Сервер хетцнер. Пытаюсь сделать на s3 но представьте сколько s3cmd ест памяти и цпу пока составляет список на сотни тысяч файлов... нужно делать без ущерба для работы и как можно чаще.

[SimWhite]

Сходу вижу два варианта.
1. Заказать еще один сервер и бекапить на него.
2. Вместо s3cmd использовать s3fs+rsync (но там FUSE).

[bop0hz]

s3cmd отвратно работает для данной задаче, т.к. компилирует лист файлов и отъедает кучу памяти тем самым, очень рад что попробовал родной aws cli, утилита идет по порядку и синхронизирует файлы, не тратя кучу памяти.

Answer 2

[386DX]

Записать на два внешних винта, положить на полку

Answer 3

[Пума Тайланд]

У хетзнера есть бекап фтп, стоит копейки туда и бекапьте

Comments

[Влад Животнев]

Доступ к которому возможен только с адресов своих же серверов.

[Пума Тайланд]

ничего подобного, доступны со всех айпишников хетзнера

[Влад Животнев]

@opium ну ок, со всех серверов хетзнера.
Не у всех по 2 сервера в hetzner.

[Пума Тайланд]

для бекапа это более чем достаточно тем более быстрого.

[bop0hz]

Про фтп хетцнера знаю, проблема если хетцнер умрет то бекап не вытащить

[Пума Тайланд]

возьмите у них самый дешевый впс чтобы вытащить, к тому же у хетзнера есть рескуе моде когда сервер грузится по сети и легко вытаскивается бекап, да и в целом куда вы его собрались вытаскивать если у вас сервера то нет?

[bop0hz]

@opium в общем-то неважно куда вытаскивать, главное что бы данные не пропали в небытие и опять же, меня больше интересует не куда бекапить, а как.

[Пума Тайланд]

ну просто по фтп или самбе туда
решений для бекапов в инете куча

Answer 4

[Влад Животнев]

https://backupsy.com/ и настраиваете там то, с чем удобно работать.
Если хочется бесплатно - то облако@mail.ru. Аккаунты с террабайтом места продаются пачками. Не знаю, можно ли сейчас получить террабайт самому.

Comments

[Zegaldis]

А как из линукса писать через консоль в облако@mail.ru? Судя по хелпам они это не реализовали :(

[Влад Животнев]

Zegaldis а сейчас черт знает, они похоже webdav прикрыли

Answer 5

[bop0hz]

Уточню, самая большая проблема в том что данных много, как по объему так и по количеству файлов. Вариант с s3 устраивает, но вот как это сделать без влияния или с минимальным влиянием на работу сервера?

Comments

[Пума Тайланд]

с с3 никак
жрет оно слишком много памяти на большом количестве файлов так как написано на питоне
в свое время переписывал сырцы для оптимизации даже