Дамп Mongodb, как ускорить?

Question

[E N]

Mongodb весит 2тб, mongodump отрабатывает очень долго, как ускорить?
1) Снапшот LXC контейнера (LVM)
2) Перейти на ФС btrfs, делать бакап средствами ФС.
Не уверен в безопасности этих 2 способов.

Comments

[mayton2019]

Непонятно. Вы пишете перейти на btrfs. А с "чего" переходить? LVM это сущность нижнего уровня по стеку технологий. И они друг с другом вобщем-то не пересекаются. Нельзя переходить с "двигателя" на "машину".

[E N]

mayton2019, с ext4, но не суть, вопрос в том, есть ли другие методы ускорения, кроме снапшотов, и если снапшот то в какой конфигурации он будет более надежен. Как я понимаю, снап можно делать и LVM и средствами ФС btrfs, ZFS(но ее на проксмоксе нет).

[mayton2019]

Сколько времени дампиться 2 терабайта.

Я тебе предлагаю просто через консоль скопировать что нибудь с разделов ext4 в новое место.
И замерять скорость копирования и время.

Это даст тебе сравнительные цифры. Может быть Монго нормально быстро копирует просто сама железная
архитектура такова что больше из нее не выдавить никак.

[E N]

mayton2019, железо там нормальное, 980pro диск с 7гбс чтением, и процессор 5950 32 потока. Дамп не я делаю, а программист, возможно только снапшот и поможет.

[mayton2019]

EVGENIJ NEFEDOV, у тебя топик называется "как ускорить". Значит у тебя уже есть знание о том сколько времени это работает сейчас. Поделись для форума этим знанием.

[E N]

mayton2019, Двое суток уже, 79% готово

[mayton2019]

EVGENIJ NEFEDOV, мда это мно-го-ва-то. А пробовал туловище монги копировать через rsync, scp, или dd на бэкапный диск.

Мой поинт в том что если например у тебя средствами Монго это идет 3 дня. А средствами физического копирования 2.5 дня - то не стоит ничего делать. Просто такова сеть и диски.

А если разница будет например в 2-3 раза - то тогда стоит заняться жесткой оптимизацией процесса бэкапа.

Answer 1

[Saboteur]

надо выяснить текущую скорость и где бутылочное горлышко.
Если упирается в скорость чтения - единственный вариант снепшоты
Если упирается в скорость записи - есть разные варианты
Если в CPU (что врядли) - посмотреть опции дампа
Если бэкап по сети идет?

Да и текущий дамп во что делается? в архив, в сырой формат? командную строку привести?

p.s. 2 терабайта - это большой объем.
Но на ssd по идее должно давать гигабайты в минуту, а это значит что должно занять явно меньше суток, часов 10-15. Тут по железу надо смотреть.

В общем приведи командную строку целиком и расскажи что за соурс и таржет, какая нагрузка на cpu/hdd/сеть