Нахождение новых или измененных записей в большом наборе данных

Question

[KOS_MOS]

Есть некоторое кол-во платформ, данные из которых переливаются на конечную платформу.
Большое кол-во платформ представляют собой базы данных, часть платформ предоставляет доступ через API.
Суммарное кол-во записей порядка нескольких миллионов.
Также данные на исходных платформах могут меняться — необходимо отслеживать изменения и обновлять данные на конечной платформе.

Предложите как лучше реализовать механизм заливки новых данных, отслеживания изменений и обновление?

Answer 1

[Tonik]

Условия слишком расплывчаты, многое будет зависить от конкретных API. Вот один из вариантов решения подобной задачи для mysql таблиц www.percona.com/doc/percona-toolkit/2.1/pt-table-checksum.html

возможно какие то идеи вам пригодятся.

Answer 2

[EndUser]

Родными средствами репликации баз данных — имхо эффективнее.
Если БД может слать сигналы приложению (встречал в Interbase), вообще кайф.

Если БД разнородные, тогда на коленке придётся писать всю кухню реплицирования с нуля. Со своими велосипедами и свежеоткрытыми старыми граблями.

Comments

[EndUser]

Впрочем, рекомендую полистать методики OLAP и/или интеграционных шин данных. Тоже велосипеды, но индустриального масштаба.