Как объединить коллекции(1Гб в день) с серверов сбора данных на главный сервер(бэкап)?

Question

[berkutxxx]

Слабые сервера VPS преобразуют собранные котировки, накапливая у себя до ~1Гб.
Как лучше переносить временную инфу на домашний диск, где размер жёсткого диска неограничен?
Дома комп не может работать круглосуточно.
Планировал поступить так:
VPS:
1) собирает котировки в монгоДБ
2) раз в день перекидывает на главный сервер
3) очищает(удаляет?) базу монгоДБ.
Домашний комп:
1) Принимает с 18ч до 24ч накопленное от VPS и объединяет в коллекцию. (Таким образом размер базы будет увеличиваться в среднем на 1Г в день.)
2) В дальнейшем база будет разделяться на шарды.

Answer 1

[lega]

Перекачать данные можно через mongodump -> mongorestore, при этом на конечном сервере данные добавятся (при условии что не будет коллизий по _id). Так же можно попробовать команду db.copyDatabase.
Через ssh можно сделать тунель, и делать дамп сразу на локальную машину.

Хотя для автоматического сбора я бы сделал авторизацию по ключам и положил скрипт в cron, что-б он сам авторизовался и делал dump/restore. По пути можно сделать быстрое сжатие через gzip, что-б данные быстрее перекачались.

Например что-то типа этого, делает удаленно дамп, жмет, перекачивает на локальную машину, распаковывает и делает restore.

ssh -p 1022 server "cd /tmp/; rm -rf /tmp/dump.tbz2 /tmp/dump/; mongodump -d database; tar -cjf dump.tbz2 dump"
	rm -rf /tmp/dump/
	scp -P 1022 server:/tmp/dump.tbz2 /tmp/
	cd /tmp/; tar -xjf dump.tbz2; mongorestore

Само сжатие можно делать "на ходу" без создания файла.

Answer 2

[Дмитрий]

rsync

Comments

[berkutxxx]

Так? 1) на стороне VPS по крону раз в день mongodump 2) rsync на файл "сервер1" 3) на VPS удалим файл. 4) Домашний сервер - по крону присоединяем через mongorestore.

[Дмитрий]

@berkutxxx В добавленном варианте вопроса, читайте ответ @lega