Можно ли бекапить mongodb сразу на удаленный хост?

Question

[pcdesign]

Например, если в mysql надо забекапить базу и закинуть на удаленный хост будет такая команда

mysqldump <DATABASE_NAME> | gzip -c | ssh user@remotehost "cat > /path/to/some-file.sql.gz"

При этом на локальной машине никаких файлов не создается.
Но с mongodump такой номер не проходит.
Есть ли какие-нибудь варианты?

Answer 1

[Saboteur]

вместо --out укажите --archive, тогда все коллекци в один файл будет складываться.
Если не указать имя архива, будет как раз идти в stdout, где вы его ловите через | ssh

mongodump --archive | gzip -c | ssh user@remotehost "cat > /path/to/dump.gz"

p.s. А еще можно просто подключить удаленный комп через nfs или sshfs

Comments

[pcdesign]

В этом случае ведь не нужен
gzip -c
Это ведь масло-маслянное?

[pcdesign]

А вот нужен, прикольно.
Без этого идет в raw.

[pcdesign]

можно еще добавить ключ
--gzip
Вот тогда, не нужен gzip -c

[Saboteur]

gzip -c нужен, чтобы gzip дальше в stdout отправил, иначе он будет ждать имя файла.

какого размера база?
Если больше гигабайта, то я бы рекомендовал поставить pigz и жать через него.

Суть в том, что gzip (и опция --gzip) работают в однопоточном режиме и не умеют пользоваться многоядерным процессором, поэтому большая база будет очень долго пережиматься.

pigz - полностью обратно-совместимый gzip, но умеющий в многопоточность. Поэтому для больших баз я рекомендую поставить pigz и через него пережимать. Опции pigz точно не помню, должны быть похожи на gzip. То есть что-то вроде:
mongodump --archive | pigz .... | ssh user@remotehost "cat > /path/to/dump.gz"

[pcdesign]

Saboteur, работает без gzip -c, если указать аргумент --gzip

А если не указать ни того, ни другого, то будет один бинарник не пожатый. Тоже в принципе работатет.

База не большая.
На счет pigz, спасибо за наводку.

Answer 2

[Денис Юрьев]

Если переписать ваш пример, то вот так (рекомендую gzip на pigz заменить)

mongodump <ANY PARAMS> --out - | gzip -c | ssh user@remotehost "cat > /path/to/dump.gz"

пруф

To send the database dump to standard output, specify "-" instead of a path. Write to standard output if you want process the output before saving it, such as to use gzip to compress the dump. When writing standard output, mongodump does not write the metadata that writes in a .metadata.json file when writing to files directly.

Comments

[pcdesign]

Спасибо за ответ, но получается ошибка
2021-03-31T09:55:59.034+0300 positional arguments not allowed: [-]

[Денис Юрьев]

pcdesign, опечатался, --out - или -o -

[pcdesign]

Денис Юрьев, тогда получим
Failed: bad option: can only dump a single collection to stdout

[Денис Юрьев]

pcdesign, у вас много коллекций?

[pcdesign]

В одной базе, около 50 коллекций.

[Денис Юрьев]

pcdesign, у вас 3 пути

1. бэкапить коллекции по отдельности
   
2. запускать mongodump сразу на удаленном сервере
   
3. монтировать удаленный каталог, бэкапить в него, отмонтировать
   

UPD: проверил, 3 пути. 4й бредовый и не работает)

[pcdesign]

Денис Юрьев, а какая будет команда для пункта 2?

[Денис Юрьев]

pcdesign, на удаленном сервере (где будут храниться бэкапы)

mongodump --host IP -d DATABASE --port PORT --username USER --password PASS --out /path/to/dump

IP - адрес где ваш инстанс mongodb крутится

обратите внимание, что mongodb должен слушать не только локалхост, но и внешние подключения
фаерволом ограничьте подключения только по белому списку для безопасности