Как вычислить дубликаты при обновлении базы данных через API?

Question

[z6Dabrata]

Добрый день,

Мой проект обновляет базу данных на стороннем сервере через API. Несколько таблиц, по несколько миллионов данных каждая. У каждой записи есть уникальный идентификатор.

К сожалению API не очень умный и поддерживает только добавление новых записей и полную перезапись таблицы.

Ежедневно поступает новая информация (Несколько десятков тысяч записей).
Проблема в том, что среди них могут быть дубликаты уже существующих записей и в API нету никакого механизма, который бы позволил бы это определить.
Если просто добавить записи, то они продублируются.

Вопрос: Какой наилучший способ избежать дублирования информации?

В качестве варианта: Держать копию БД у себя на сервере и с ее помощью вычислять дубликаты.

Но хочется чего-то более изящного.

Спасибо.

Comments

[dbmaster]

А есть возможность поменять API или запросить добавление новой функции?

[z6Dabrata]

Всем спасибо за ответы, дожал разрабочков и они поправили API.

Answer 1

[vsespb]

Конкретный совет не могу дать. Ничего кроме копии БД не лезет в голову. Хорошая ли это практика или нет, сказать не могу. Может и хорошая. Нужно знать все подробности API — кто, зачем, куда итд.

Могу только посоветовать попросить провайдера API пофиксить своё API или прояснить, может Вы его не по назначению используете. Или пусть даст совет.

Comments

[z6Dabrata]

Спасибо за ответ, конечно же говорил с провайдеров API, обещали добавить функциональность, но по срокам не обнадежили, а нужно уже сейчас. Совет тоже толком не дали.

Answer 2

[ertaquo]

Попробуйте считать хеш каждой записи и сохранять его в отдельном индексированном поле. Хотя если база уже большая, то ее обновление займет довольно много времени.

Comments

[z6Dabrata]

У каждой записи уже есть уникальный идентификатор, так что с этим проблем не должно быть, но спасибо за предложение.

[ertaquo]

Уникальный в каком смысле? Откуда берется идентификатор для новой записи — из AUTO_INCREMENT или генерируется на основе данных записи? Если второе, то согласен и не понимаю тогда, в чем проблема.
Я предлагаю добавить в таблицу новое индексируемое поле с уникальными значениями, содержащее хеш данных в записи (кроме ID и самого хеша). Перед добавлением новых записей хешируйте их и исключайте те, чьи хеши уже есть в таблице. Таким образом можно легко избежать дублирования одинакового контента. Из минусов — увеличение размера таблицы, значительное замедление добавления записей и долгая генерация хешей для всех записей в первый раз. Но имхо, это самый легкий способ.
Еще можно использовать составной первичный ключ, если в вашей таблице нет полей с динамической длиной (типа TEXT).

[z6Dabrata]

ertaquo, данные приходят с внешнего источника, там у каждой строки есть уникальный идентификатор (по ходу тоже какой-то хеш).
Но спасибо за идею с хешем, может пригодится, если окажется, что записи не только дублируются но и изменяются.

Answer 3

[tolyjan]

Удаляйте дублирующие записи, подобным запросом
DELETE u1 FROM users u1, users u2 WHERE u1.id > u2.id AND u1.name = u2.name;
условие WHERE можно редактировать под свои нужды, если дублируется поле name, то условие должно быть соответствующим u1.name = u2.name
Это вполне изящный и действенный способ.

Comments

[z6Dabrata]

Если я правильно понял. вы предлагаете при каждом обновлении:
1. Создать таблицу с новыми данными
2. Убрать из нее все строки, существующие в общей таблице с прошлыми записями
3. То, что осталось в новой таблице отправить в API
4. То, что осталось в новой таблице добавить в общую таблицу.

Похоже на решение, есдинственное что смущает, ест ощущение что nosql может справиться с этим быстрее

[tolyjan]

Вы написали, что ваш проект обновляет базу данных на стороннем сервере. Насколько я понимаю у вас должна быть копия таблицы данных. В ней добавьте поле, которое послужит флагом, что данные уже переданы через API. Если данные обновились, записывайте это ещё в одно дополнительное поле. В любом случае это должна быть таблица на вашей стороне.
зы Мой предложенный запрос предполагает лишь удаление дубликатов в одной таблице, но похоже вы мыслите глобальнее, судя по ответу :)

Answer 4

[AlexeyVD]

По-хорошему, если данные в таблицах на сервере не должны дублироваться, то логично было бы создать там уникальные ключи по нужным полям, и тогда никакие дубликаты бы уже туда не попадали.
Соответственно, если нужно избежать ошибок при вставке дублирующихся данных, то нужно поправить API и использовать там INSERT IGNORE либо INSERT… ON DUPLICATE KEY UPDATE… в зависимости от того, что вам нужно.

Comments

[z6Dabrata]

Алексей, спасибо за ответ, я не знаю, какие у них бюрократические процедуры необходимы для изменения API и что за БД у них используются, потому чт это вполне может быть NOSQL.
На данный момент нужно разобраться с нашей стороныю

Answer 5

[EugeneOZ]

Можно хранить у себя в key-value хранилище список ID, которые вы добавляли в виде 'key:hash', где hash это hash данных новой записи, а key — постоянный префикс. Сделать expire им на неделю, чтобы удалялись сами (или на другое время) и перед добавлением смотреть, существует ли ключ с именем «key:hash». Если не существует — добавлять. Это не 100% защита от дублей, но очень большой процент сможете отсеять, думаю.
100% защита была бы возможна, если бы можно было сущности добавить поле hash и перед добавлением спросить у API, есть ли запись, у которой поле hash равно hash данных. Тогда можно было бы сначала проверять в своём key-value (как я вышел описал) и, если отсутствует, проверять в API (чтобы не делать лишних запросов).