Какие готовые инструменты используете для решения задачи связанной с резервным копированием БД MongoDB, Elastic и MariaDB?
Здравствуй, Хабр!
Возникла острая необходимость в реализации механизма резервного копирования (в приоритете горячие бэкапы!) баз данных Mongo, Elastic и Maria. В связи неимением опыта в реализации подобных задач, начал собирать и анализировать информацию с различных форумов, сайтов и т.д.
В общем: имею "за спиной" кластер с несколькими десятками нод, а так же некоторое количество шардов работающих в связке. Задача, хоть и звучит достаточно просто, но в конечном итоге всплывает множество вопросов в связи с тяжелой обстановкой в Мире. Готовые решения типа Vinchin Backup & Recovery/Veeam Backup начали вставлять палки в колёса для пользователей из РФ, да и стоимость продукта достаточно высока.
В настоящее время рассматриваю готовые решения с использованием Mongodump, а так же Mariabackup. Но, к сожалению, у этих решений есть схожий минус связанный с медленной производительностью для очень больших баз данных или для операций резервного копирования, которые необходимо выполнять часто, так как это может потребовать значительного количества системных ресурсов.
Буду очень благодарен всем тем, кто не против поделиться своим личным опытом, подкинуть полезной информации и подробностей, которые хоть как-то могли бы мне помочь в построении стабильного механизма резервного копирования.
Про монгу скажу только что выбравшие её буратины должны страдать.
Эластик бэкапить непонятно зачем.
Про марию сложно сказать, я использовал percona backup, но судя по всему Mariabackup является его заменой.
Про ресурсы не очень понятно, какая с ними проблема. В том смысле что непонятно, почему есть ресурсы на гигазы бессмысленной инфы но почему-то нет на отдельный слейв под быкап.
Всё верно, на дурацкий вопрос сложно найти подходящий ответ.
К примеру, вы первый, кому понадобилось бэкапить поисковый движок.
Так что продолжайте поиски. "Пилите, Шура" :)
Ипатьев, ну а чего вы привязались к поисковому движку? Что если меня интересует быстрое восстановление рабочего процесса после успешной атаки? Почему бы и не забэкапить?
Ну, а с другой стороны - фиг с ним, с Elastic. Вы и по остальным пунктам, в принципе, никакого дельного совета не смогли дать. Пукать в лужу с целью увеличения количества ответов в статистике профиля - это, к сожалению, ваша конечная остановка. Потомок старинного рода Ипатьевых-Колотитьевых...
Вы даже ответ от комментария отличить не можете :)
И сама идея о том, что кто-то может набивать это количество, многое говорит о человеке. Для вас это, видимо, ценность.
Да, про монгу я ничего не могу сказать, поскольку бог миловал не сталкиваться с этой идиотской поделкой.
А про марию что я должен добавить к тому, что вы и так знаете сами? СУБД вам предоставляет инструмент, вы о нём знаете, но начинаете кочевряжиться, "ой, меня производительность не устраивает". Смотрите какой барин - всех остальных устраивает, а его нет. Ищет волшебную палочку, которая без затрат ресурсов будет делать бэкапы. Ну ищите.
Я так и написал :)
Если базы mariadb стали большими и тяжелыми, может пора переезжать на postgres? Или это заблуждение что mysql в основном для мелких баз? Это если вопрос в скорости снятия бэкапа.
А если вопрос в управлении бэкапами, то вариантов вроде много, начиная с той же bacula.
Да, есть идея перехода на postgres, но в настоящее время, к сожалению, не осуществима в связи с короткими сроками на решение поставленных задач. На полноценную миграцию нужно как минимум 5-6 месяцев. В следующем году, думаю, что вопрос перехода будет поднят заново.
