Миграция данных из MariaDB в Percona?

Question

[Котик Антон]

Имеем сервер с MariaDB базой данных и Percona кластер. Нужно перенести часть данных (несколько таблиц в базе) из MariaDB в Percona.

Пожелания:
1. Сервер MariaDB очень живой, много INSERT / UPDATE / DELETE запросов в таблицах. Перенести максимально бесшовно, не останавливая работу с базой. Допустим простой и потеря данных максимум на пару минут в момент переключения на новую базу.
2. На бэкенде у нас в основном PHP и немного go. Очень не хочется делать миграцию на инструментах, написанных на других языках.
3. В идеале, но не обязательно, нужна возможность вернуться обратно на MariaDB, если после перехода что-то сильно пойдёт не так.
4. Нужно решение, которое позволит в дальнейшем делать подобные операции малой кровью.

Подскажите, как такое можно сделать? Что почитать?

P.S.: У нас была гипотеза, что можно подключиться к бинлогам, и с их помощью дублировать данные из одной базы в другу. Но в простейшем варианте `SHOW BINLOG EVENTS` выдаёт запросы в сыром виде (без первичных ключей), а это рушит всю схему.

Comments

[Ромзес Панагиотис]

А каковы причины мигрировать на Percona server из MariaDB?
Настраивали ли вы MariaDB?
Какой основной профиль работы с СУБД: чтение или запись?

[Котик Антон]

Ромзес Панагиотис, В первую очередь, потому что девопсы очень страдают от mariadb, от багов, которые в ней есть, на которые мы напарываемся, и которые годами не чинят.

[Ромзес Панагиотис]

Антон Захаров,
а сколько клиентов у MariaDB: 1 бэкенд на PHP или несколько разных PHP сервисов?

Какая версия MariaDB?

На предыдущий вопрос про профиль работы с СУБД чтение или запись не получил ответа.
Потому что если в основном идет чтение, то репликация является решением как для миграции, так и для уменьшения нагрузки.

[Котик Антон]

Ромзес Панагиотис, Один бэкенд, ещё несколько master-slave реплик mariadb настроено (часть используем как readonly в продакшене всё тем же единственным бэкендом для уменьшения нагрузки на базу, часть реплик для аналитиков), других сервисов использующих эту базу нет.

Версия mysql Ver 15.1 Distrib 10.3.22-MariaDB

В основном чтения, SELECT запросов примерно в 100 раз больше, чем INSERT/UPDATE/DELETE.

[Ромзес Панагиотис]

Антон Захаров,
Спасибо, понятно. Чисто мое мнение: вам стоит проконсультироваться у Percona, в особенности из-за необходимости маленького DB downtime.
А так, из-за декларируемой совместимости с MySQL/MariaDB вы можете попробовать настроить репликацию на Percona server.
Учтите подводные камни. Особенно, если используете JSON функции.

Версия mysql Ver 15.1 Distrib 10.3.22-MariaDB

Ну и обновитесь до 10.3.28

[ComodoHacker]

Сервер MariaDB очень живой, много INSERT / UPDATE / DELETE запросов в таблицах.

Много это сколько? В день, в час, в секунду?

[rPman]

я просто мимо проходил, запросил у гугла "persona кластер" и он мне первую же ссылку выдал
https://habr.com/ru/post/422347/

Answer 1

[Vitaly Karasik]

Нужно перенести часть данных (несколько таблиц в базе) из MariaDB в Percona.

ИМХО, идея неправильная. Или же я упустил серьезную причину по которой может понадобиться переносить часть базы на другой сервер на другой движок.
Сделайте PoC на перконе, и если понравится, переносите все.

гипотеза, что можно подключиться к бинлогам,

Направление верное. Стандартная практика для миграции на новый сервер это репликация, а репликация в mysql основана на бинлогах. Так что читать про репликацию (mysql replication).

возможность вернуться обратно на MariaDB

Очень трудно реализовать, т.к. требуется master-master replication.

Comments

[Котик Антон]

ИМХО, идея неправильная. Или же я упустил серьезную причину по которой может понадобиться переносить часть базы на другой сервер на другой движок.

Часть базы в последствии станет отдельным сервисом (уходим от монолита).
Перенести разом всю базу в перкону уже пробовали (три года назад), на боевых запросах все разом сломалось, это при том что мы проводили все виды тестирования и нагружали новую перкону. Вобщем идею разом всей базой перейти мы закопали как невыполнимую.

[Vitaly Karasik]

Понял. То есть long term конечная цель - когда-нибудь перенести все на Percona.