Как правильнее будет синхронизировать удаленную бд локально?

Question

[usdbuy]

Всем привет, подскажите пожалуйста по вариантам..

есть боевая бд 100гб и к ней очень медленно летят запросы.. иногда она отваливается.. я хотел бы чтобы у меня была данная бд локально и иногда время от времени обновлять.. есть ли какое удобное решение для этого дела? это в сторону репликации капать? в идеале может есть какой то кеш где например я сделал запрос и он сохранился на определенной время?

mysql 5.7
локально бд через докер, ubuntu

Comments

[FanatPHP]

какой-то бредовый вопрос
если речь идет о разработке, то на боевой базе никогда ничего не разрабатывают, и нужна локальная копия. причем совершенно не обязательно на 100 гигов
если речь идет о выполнении запросов, то надо разобраться, почему "отваливается" и сделать так чтобы не отваливалось.

[usdbuy]

на боевой базе не нужно мне разработку вести, мне нужно локально иногда синхронизированная боевая бд так как много на этих данных завязоно на проекте.. фикстурами голую бд не рассматриваю пока что так как очень много связей куча таблиц..

Answer 1

[Vitaly Karasik]

UPDATE, после уточнения вопроса:
Как минимум два варианта для локальной базы для разработки:
- поднимать только схему, плюс какие-то тестовые данные
- если хочется реальные данные - сделать скрипт, который каждую ночь (или раз в неделю) берет дамп с сервера, и восстанавливает локально. Если тяжелый - фильтруйте при экспорте, например, только последние данные из тяжелых таблиц.

Советую точнее сформулировать, какую проблему вы хотите решить:
1)

есть боевая бд 100гб и к ней очень медленно летят запросы.. иногда она отваливается.

2)

я хотел бы чтобы у меня была данная бд локально и иногда время от времени обновлять

- зачем? для разработки? для чего-то другого?

3)

в идеале может есть какой то кеш

Comments

[usdbuy]

1) при локальной разработке проект обращается к удаленной бд которая или отваливается или иногда тормозит, я хотел абстрагироваться на время разработки от обращении на удаленную бд.. то есть я как вижу это я качаю дамп удаленной бд и потом себе локально импортирую данные и с ними спокойно работаю.. через время я могу так же повторить все.. но проблема в том что дамп тяжелый и качается ппц долго.. я про то что может у mysql есть какие то готовые решения на этот счет?

2) для локальной разработки чтобы абстрагироваться от запросов к удаленной бд

3) есть страницы где приходится обновлять страницу и иногда ждешь ответа очень долго, я предположил что может как то можно закешировать запросы к бд.. чтобы при обновлении запросы кешированные, а код измененный

[FanatPHP]

Vitaly Karasik это ответ? Вот прям серьёзно, ответ на вопрос?

[FanatPHP]

usdbuy, "я про то что может у mysql есть какие то готовые решения на этот счет?" какие решения? mysql будет вам не по сети заливать а как-то ещё? На флешку запишет и привезёт в голубом вертолёте?
Или всё-таки по сети, но волшебным образом 100 гигов превратятся в 1 байт?

[Vitaly Karasik]

usdbuy,

я хотел абстрагироваться на время разработки от обращении на удаленную бд.

Как минимум два варианта для локальной базы для разработки:
- поднимать только схему, плюс какие-то тестовые данные
- если хочется реальные данные - сделать скрипт, который каждую ночь (или раз в неделю) берет дамп с сервера, и восстанавливает локально. Если тяжелый - фильтруйте при экспорте, например, только последние данные из тяжелых таблиц.

Answer 2

[rPman]

правильно - master-slave репликация, все изменения главной базы автоматически, допускается с некоторым лагом, прилетают на подчиненную slave, с этой базой можно работать в readonly режиме как с обычной базой, и ее нагрузка никак не скажется на нагрузку основной.

Comments

[FanatPHP]

репликация для локальной разработки? серьёзно?
в read-only, серьёзно?

[FanatPHP]

и при чем здесь нагрузка вообще?
опять что ли, "прочёл заголовок, не прочёл вопрос"?

[rPman]

FanatPHP, это ты неправильно прочел, четко написано - удаленная бд, локальная копия

прич ем тут разработка? один из юзкейсов такой репликации - это запуск тяжелых аналитических запросов на архивной базе, чтобы не грузить основную

кстати про разработку и тесты, репликация - самый быстрый способ получить копию рабочей базы чтобы над ней поиздеваться - это поднять slave копию на сервере с поддержкой репликации, остановить базу, взять снапшот файловой системы и поднять ее из снапшота параллельно (без поддержки сети например в lxc контейнере), поработать, потом удалить

рабочая база при этом ни на мгновение не останавливается, и нагрузка не повышается

[usdbuy]

интересный вариант спасибо возьму на заметку