Эффективный Алгоритм синхронизации базы данных на разных движках?

Question

[Василий Печерский]

Есть данные в формате dbase (FoxPro в моём случае). Надо с определённой переодичностью синхронизировать информацию с SQL(MySql, Postgres) сервером.
Синхронизатор буду писать на PHP.
Подскажите пожалуйста, какой самый быстрый алгоритм для выполнения данной операции.
Простой и тупой цикл для 85000 строк - кажется будет неэффективным и медленным.
За одно, как можно заменять только изменённые строки. Будет ли это эффективнее полной замены всего.

Спасибо за предложения.

Answer 1

[Кирилл]

mysql

truncate table;
LOAD DATA INFILE 'data.txt' INTO TABLE table;

postgres

truncate table;
COPY table FROM 'data.txt';

Comments

[Василий Печерский]

Ха ! А вот об этом я как то не подумал !
Спасибо ! Завтра испытаю !

[moryakov]

truncate сработает на таблицах без FK. Иначе, либо отключать их, что грозит нарушением целостности, либо использовать Delete from, что немного тормознее из-за журналирования (которое тоже можно отключить )).

[Кирилл]

moryakov: там не нужен delete, там нужен truncate/drop

Answer 2

[xmoonlight]

Лучше приведите все базы к одному виду в Postgres.
Работы будет меньше, а пользы в разы больше.

Comments

[Василий Печерский]

Был бы мир так прост, и без динозавров - голова бы болела гораздо меньше !

[xmoonlight]

Василий Печерский: локальный экспорт баз в файлы, обработка файлов и составление баз для импорта, импорт, сохранение последних экспортов для последующего сравнения.
И при изменениях: "вычитание" текущей из старой (инкрементальный импорт).

[Василий Печерский]

xmoonlight: По точнее пожалуйста. У меня FoxPro -> SQL (на данном этапе)

[xmoonlight]

Василий Печерский: это алгоритм для любой базы. после экспорта (дампа базы) - нужен линкер: связь данных между дампами разных баз (в экспорт-файлах). Вот линкер - Вы пишите сами.