Как экспортировать данные в БД из обновляющегося XML-файла?

Question

[lkart]

Имеется периодически обновляющийся xml файл, к примеру содержащий информацию об объектах недвижимости. Данные из этого файла загружаются в MySQL базу данных.

Если это делается единоразово — все понятно: парсим XML (использую PHP), затем INSERT в таблицу.

Но что делать если XML-файл обновился (некоторые элементы удалились, содержимое других изменилось) и соответственно нужно обновить данные в таблице?

В голову пришло только TRUNCATE таблицы и INSERT по новой. Может можно как-то отслеживать конкретные изменения в XML-файле и в соответствии с этим делать UPDATE?

Comments

[spacediver]

Есть ли доступ к приложению, генерирующему XML?.. Можно ли малой кровью попросить его отдельно выгружать ID добавленных, измененных или удаленных объектов?..

[lkart]

Это в голову не пришло, спасибо за интересный вариант.
На самом деле, меня больше интересует в первую очередь теоретическое решение такой задачи и подходы к ее решению. Хотя на практике, возможно, в ближайшем времени придется решать что-то подобное.
Решил спросить у хабра, вдруг уже известно какое-то гениальное или просто изящное решение, а я о нем слыхом не слыхивал и как пещерный человек со своим TRUNCATE, INSERT.

Answer 1

[Андрей Поляков]

Если нет проблем с производительностью TRUNCATE,INSERT, то не стоит и загоняться.

Если объем данных большой, а изменяются они мало, то оптимальным вариантом было бы добавление в xml поля «версия», «временная метка» и т.п., дабы было максимально просто отслеживать изменения. Также в отдельном файле стоило бы хранить список удалённых записей.

Если очень не хочется делать TRUNCATE напишите хранимую процедуру INSERT_OR_UPDATE, которая будет либо добавлять запись либо обновлять её. Firebird например умеет INSERT OR UPDATE из коробки.

Если не вести журнал удалённых записей, то задача всё равно сведётся к проверке «Если записи нет в xml, то удалить её из базы», для всех записей в базе.