Как запретить импорт дублирующихся записей?

Question

[shsweb]

Есть пополняемая база объемом в несколько миллионов записей.
В записи 9 полей.
Поля не содержат уникальных данных, но при этом запись должна быть (и есть) уникальной.
Как избежать добавления уже существующих записей (например импортируют несколько раз одно и то же). Пока как вариант добавить еще одно уникальное(unique) поле с MD5 от содержимого остальных полей. Но непонятно как это скажется на скорости и достаточно ли комбинаций MD5 для уникальности.
Что посоветуете?

Answer 1

[Rsa97]

UNIQUE KEY по кортежу, который должен быть уникальным. Замедлятся вставка/удаление записей, на выборку не повлияет или ускорит.

Comments

[shsweb]

Нельзя ли по-подробнее, если учесть что уникальной должна быть запись из не уникальных полей.

[Rsa97]

Для составного уникального индекса уникальным должно быть не значение каждого поля, а совокупность значений всех полей, составляющих ключ. Единственное ограничение - BLOB и TEXT входят в индекс не целиком, для них требуется указать сколько байт с начала поля будут использоваться при составлении ключа.

Answer 2

[Volodymyr S.]

Сделать еще одно поле с хэш-функцией от всех других.

Answer 3

[TomaZ Vazovsky]

Т.е. как я понял, сами данные в этих 9 полях записи, уникальными не являются, но их сочетании должно быть уникальным. Тут в голову приходят пара мыслей.
1. Составное уникальный индекс. Но с несколькими миллионами записей это будет тяжеловато, да и если другой пользы от такого индекса нет, то не лучший вариант, пожалуй.
2. Вариант с хешем, сам хеш под индексом. Тут конечно многое зависит от того, какие данные. Я бы постарался даже не md5 заюзать, а crc32 например, но сам индекс сделать составным с каким-то еще данными, чтобы уменьшить вероятность коллизий, но при этом получить выигрыш по скорости, например если объединить интовый айдишник пользователя и интовый crc32.