Как увеличить скорость скрипта работающего с БД?

Question

[beduin01]

Есть скрипт на Python, который берет данные из одной БД, проверяет есть ли они во второй БД. Если их там нет (проверка по GUID) то вставляет их туда.

Проблема в том, что скрипт работает очень медленно. Думаю как повысить скорость его работы. Первое что приходит на ум -- сделать вборку по ID, разбить их на две половины и потом в два потока проверять гуиды в другой БД. Но может есть варианты получше?

На всякий случай уточню, что БД не идентичны и и нужно синхронизировать только определенные поля.

БД PostgreSQL

Comments

[Dimonchik]

а если нет, но на момент вставки есть?

Answer 1

[Melkij]

Возьмите профилировщик и посмотрите, на чём именно теряете время.

О каком классе СУБД вообще речь?
Например, если речь о транзакционной РСУБД, строки объёмные, то можно сделать так:
create temporary table updatetable(guid uuid not null)
пачками этак по 1000 guid вычитываете guid'ы из источника и записываете в эту временную табличку.
select guid from updatetable where not exists (select 1 from normaltable where normaltable.guid = updatetable.guid)
Так получили список guid, которых в целевой БД нет. Сходили в источник за полной версией всех данных этих guid, пачками записали в целевую БД.

Comments

[beduin01]

А при работе с курсором можно данные пачкой вычитывать? Просто я использую курсор ArcPy т.е. там какая-то обертка над БД.

[Melkij]

По всяким обёрткам ничего не скажу.
Postgresql, как вижу в обновлении. Через FDW подцепить и дело вообще одного запроса.

Answer 2

[sim3x]

Есть и получше
Соединить две БД в одну или связаться их на уровне СУБД

Comments

[beduin01]

У них структура таблиц чуток отличается. Не все поля из второй есть в первой.

[sim3x]

beduin01: значит нормализовать структуру вцелом

[beduin01]

sim3x: нельзя( может я не правильно понял, но у нас нельзя их сделать 1к1 т.к. мы не можем в тестовой среде использовать рабочие данные (безопасность и все дела)

[sim3x]

beduin01: тогда при чем тут перенос данных?

[beduin01]

sim3x: нужно из БД синхронизировать только определенные поля, а не все. Если я правильно понимаю вы предлагаете сделать структуру БД одинаковой так?

[sim3x]

beduin01: я предлагаю тебе дополнить вопрос уточнением, что речь идет о какой-то странной процедуре создания слепка рабочей БД для использования в виде тестовой БД