Перенос быза Mongodb на горячую с помощью rsync, не будет проблем?

Question

[NOONE]

Добрый день коллеги, может кто-то делал, есть MongoDB в проде ( использутся 1 инстанс монги, никаких реплик нет) нужно на горячую перенести данные монги из /var/lib/mongodb (дамп делать не хочется потому что это все занимает долго времени) кто ни будь делал rsync данных на другой сервер с монгой на горячую?(если потеряются какие-то новые данные на момент переноса, не страшно) Проблем не возникнет? Или нужно в любом случае гасить монгу?
Монга версии 3.2.11 переносить данные буду на монгу 3.4.9

Спасибо за ответ

Answer 1

[lega]

Не прокатит, тем более версия другая, в монго-консоли была команда типа cloneDB, copyFromDB, можно на ходу скопировать БД с другого сервера.

PS: для dump/restore монгу "гасить" не надо.

Comments

[NOONE]

Спасибо за ответ, дамп я делал, все окей, но это занимает слишком много времени. Дамп делается ~30 минут, плюс его нужно закинуть на новый сервак и сделать рестор (это вообще целая эпопея) рестор у меня делался 2,5 часа на серваке с 30ГБ озу и 16 ядрами на проце, так при ресторе ещё и сожрало всю ОЗУ осталось (30мб) не знаю с чем связано такое подребление памяти, дамп весит 12 гб. даже если взять с учетом того что он грузит изначально весь дамп в ОЗУ(допустим 12 ГБ озу) куда сжирается остальное не понтяно, есть ощущение что при ресторе он есть оперативу в процентном соотношении, а не по весу занимаемым самим дампом, у Вас нет предположений? рестор делал обычным способом mongorestore --verbose --db db /root/backup/db

P.S по поводу cloneDB врядли получится сделать, т.к обе базы находятся в изолированой сети MONGO > NAT > NAT < MONGO

[lega]

NOONE,
> P.S по поводу cloneDB врядли получится сделать, т.к обе базы находятся в изолированой сети

А как вы планировали rsync применять? Изоляцию сетей можно обрулить (при наличии интернета или общего сервера).

> 30ГБ озу и 16 ядрами на проце

озу и проц не причем, все упирается в тормоза дисков,
память кушается файловым кешем ОС, и не считается занятой - освобождается по мере необходимости.

[NOONE]

lega, Rsync через сервер посредник если можно так выразится до которого есть доступ с 1 сервера монги

P.S "память кушается файловым кешем ОС" а причем тут файловый кеш ОС при востановление дампа монги? по факту память юзает сам процесс рестора и фактически память кончается, потому что потом даже становится не возможным подключение по SSH. Не могли бы подсказать где про это можно прочитать?

[lega]

NOONE, при использовании файов в linux они кешируются в памяти, при этом знамая всю память - что ей простаивать - это не влияет на объем используемой памяти приложениями, можете запустить копирование большого файла (на другой тип/раздел) будет тот же эффект.