Как сравнить две базы данных?

Question

[RazdoR]

Уважаемый Хабр, я верю в силу твоего коллективного разума и надеюсь получить подсказку.
Есть две, практически одинаковые, базы данных, с одинаковой структурой и данными. Одинаковые, да не совсем. На одной из баз запрос на выборку выводит результат меньше чем за 1 секунду, во второй — тот же запрос работает около 4-х секунд. Причем база которая работает быстрее — больше по объему данных. Дело не в аппаратной части, базы одинаково работают на разных серверах — одна быстрее, другая медленнее. Как можно сравнить содержимое БД, таблицы, функции, чтобы найти различия? Или куда вообще копать?

UPD. Попробовал сделать так: Развернул структуру с «медленной» базы и хотел развернуть туда данные с «быстрой» — выдало ошибки. Взял структуру с «быстрой» базы и развернул туда данные с медленной — так же медленно выполняется запрос.

Answer 1

[Stdit]

Посмотрите индексы, присутствуют ли они в обоих в базах.
Еще можно посмотреть статистику по своей schema: www.postgresql.org/docs/9.1/static/monitoring-stats.html
Там видно количество фулсканов, автивность запросов и т.д.
Ну и explain.

Comments

[Stdit]

[del]

[RazdoR]

С индексами на первый взгляд всё нормально, но еще посмотрю конечно. Ниже как раз приводят способ как сравнить индексы. Вручную просматривать больше 200 таблиц в одной базе пока мало желания. По статистике попробую посмотреть, спасибо.

Answer 2

[stepank]

если нужно сравнить все, кроме данных (структуру, _индексы_, ключи, отношения, констрейнты), можно сделать дамп только структуры, что-то типа pg_dump -sxO database_name (s — дампить только схему, x — не дампить привилегии, O — не дампить овнера), а дальше diff

Comments

[RazdoR]

Спасибо, попробую это сделать.

[zvorygin]

не туда ответил случайно.

[Всеволод]

Я обычно так и делаю. Можно воспользоваться гуишными программами типа Araxis или Meld.
Но видимо у вас что-то именно с данными.

[RazdoR]

Пока нашел различие в отсутствующей колонке в нескольких таблицах и нескольких индексах, сделал так же как в «быстрой» базе, время выполнения запроса уменьшилась на секунду, но всё равно долго.

[stepank]

если индексы сделали, то дальше вопрос, что говорят эксплейны? и чисто так, на шару, analyze ведь сделан?

[RazdoR]

analyze конечно сделан. увы, не силен настолько: эксплейны это?

[stepank]

www.postgresql.org/docs/9.1/static/sql-explain.html

Answer 3

[stan_jeremy]

не знаю есть ли тулзы сделать дифф сразу на все, навскидку пару узконаправленных тулз

от перконы для сравнения всевозможных конфигов www.percona.com/doc/percona-toolkit/2.1/pt-config-diff.html

от мускула — dev.mysql.com/doc/workbench/en/mysqldiff.html

Comments

[Stdit]

Они разве подойдут для postgres?

[stan_jeremy]

не увидел тэг постгреса :(

Answer 4

[Илья Севостьянов]

Какие базы-то? Формат?
В любом случае без кода не обойтись… но с классическими SQL можно обойтись «малой кровью»

Comments

[RazdoR]

Эм, не совсем понимаю вопрос… Базы postgresql. Создаются через pgAdmin, в кодировке UTF-8, обычные базы постгрес. Код чего? БД?

Answer 5

[zvorygin]

Я бы еще посмотрел в сторону VACUUM

Comments

[RazdoR]

Нет, это не влияет, т.к. фулл вакуум/реиндекс делаются каждую ночь, ну и перед тестированием делаю вакуум/реиндекс.

Answer 6

[zvorygin]

В контексте последнего уточнения «Взял структуру с «быстрой» базы и развернул туда данные с медленной — так же медленно выполняется запрос.» — может посмотреть планы запросов в быстрой базе при оригинальных и при «медленных» данных? Они у Postgres-а могут меняться в зависимости от реальных данных и накопленной статистики.

Comments

[RazdoR]

Спасибо, посмотрю. Хотя, не думаю что это поможет, т.к. «быстрая» база больше чем медленная, соответственно что в «медленной» статистики накопилось меньше.

Answer 7

[k-semenenkov]

Поздновато для спрашивающего но может будет полезно для остальных
https://ksdbmerge.tools/for-postgresql
GUI под Windows, сравнивает и схему и данные, есть вполне функциональная бесплатная версия.
Я автор.