Как вычислить дубликаты при обновлении базы данных через API?

Вы написали, что ваш проект обновляет базу данных на стороннем сервере. Насколько я понимаю у вас должна быть копия таблицы данных. В ней добавьте поле, которое послужит флагом, что данные уже переданы через API. Если данные обновились, записывайте это ещё в одно дополнительное поле. В любом случае это должна быть таблица на вашей стороне.
зы Мой предложенный запрос предполагает лишь удаление дубликатов в одной таблице, но похоже вы мыслите глобальнее, судя по ответу :)