А существует ли что-то типа Git для БД (MySQL) — мне нужно понять как скрипт меняет содержимое БД не копаясь в самом скрипте?

Question

[Роми]

Есть большой скрипт, и я хочу понять содержимое каких именно таблиц и как именно он меняет в результате выполнения цикла запрос-ответ.

Ну, грубо говоря, мне нужно как-то удобным образом сравнить состояние БД до и после работы скрипта.

Есть ли какой-то удобный инструментарий на эту тему? Чтобы он сразу мне показал что и как изменилось с предыдущего чекпойнта?

Comments

[Akina]

Я ну очень сильно сомневаюсь, что найдётся что-то вменяемое - уж больно задача дурная. Даже если не говорить о том, что при одних значениях каких-то дополнительных параметров скрипт может подкорректировать пару записей в одной таблице, тогда как при других - перелопатить всю БД. Попадёшь случайно на первый набор - ну и пользы от полученного сравнения?

В принципе такой инструмент несложно пишется руками. Слить все таблицы в CSV до и после, а уж инструментов сравнения двух текстовых файлов - тех аки грязи. Но опять же - нужен-то агрегирующий анализ. Выдаст тебе, что из миллиона записей поменялись сто тыщ - глазами смотреть что в них общего? ну-ну... хотя и те сравнивалки, что есть - они тоже не анализируют различия. Просто выдают протокол...

[Дмитрий]

Если с базой общается какое то приложение, завернуть запросы в обёртку с логом
Предположу что работа через php. Тогда сделать метод query через обёртку, ну и exec и прочие

[Роми]

Akina, там большие базы (без архива - гиг или больше), гонять туда-сюда в CSV не вариант

[Роми]

Дмитрий, слишком замороченно - я хочу простое решение )))

[Akina]

гонять туда-сюда в CSV

Гонять-то зачем? сравнение можно и по месту сделать. Просто выгружать надо не таблицу, а результат запроса, сортированный по вменяемому уникальному выражению. Процедура вообще как два пальца, обычное двухкурсорное однопроходное сравнение.

Answer 1

[Дмитрий Шицков]

Придется сделать 2 базы - оригинальную и после изменений.

После этого есть варианты:
Можно воспользоваться mysqldbcompare в режиме --changes-for

Или попросту сделать два дампа и сравнить их

mysqldump --skip-comments --skip-extended-insert -u user database1 > file1.txt
mysqldump --skip-comments --skip-extended-insert -u user database2 > file2.txt
diff file1.txt file2.txt

Ну или включить Audit Log в mysql и посмотреть по нему какие изменения будут вноситься.

+ https://liquibase.org/

+ Здесь в самом вопросе перечислено пяток инструментов https://stackoverflow.com/q/225772

И кажется Mysql Workbench может сравнивать.

Comments

[d'Ivan]

Думаю, что есть более подходящий способ.

[Роми]

спасибо! буду пробовать. (сравнить дампы - это тоже первое что пришло в голову, но не вариант - там сжатые дампы больше 200 мегов, а уж какие они разжатые - даже знать не хочу)))))

Answer 2

[Станислав Макаров]

Инструмент для вашей задачи - системное версионирование, введённое в SQL:2011, ищите "system-period temporal tables" или "system-versioned tables".

К сожалению ещё не все СУБД его поддерживают, насчёт MySQL не уверен. А вот MariaDB вроде умела.

Comments

[Akina]

MySQL не поддерживает версионку, у MariaDB есть поддержка с версии 10.3. Впрочем, если БД нормальная, то updated_at там в каждой таблице имеется. А срезы в общем практически не нужны - анализировать автор желает изменения, а не процесс.

Answer 3

[ALLIGATOR]

Возможно, вам подойдёт логирование всех запросов к базе, а не сравнение разных снэпшотов
Посмотрите описание параметра в конфиге MySQL

general_log