Как оптимизировать проверку на уникальность ID?

Question

[DoggoTheKing]

Есть таблица с полем, в котором хранятся ID юзеров. Таблица постоянно пополняется новыми записями. Иногда, ID юзера входит во второй раз. Такое вхождение проверяется так:
SELECT * FROM main_db WHERE ident=ID_NUMBER
Но эта проверка какая-то медленная. Сейчас записей в бд 700к. Будет в районе 20кк.
Как оптимизирвоать?

upd: ID формируется не мной
upd2: 600к записей добавлялись 5 часов. Это нормально?

Comments

[Prog]

чем ид формируете, туда и глядите, и не придется городить костыли

[DoggoTheKing]

Prog, id формируется не мной. Данные парсятся

[Prog]

Тогда делайте свой правильный УИД и лепите на юзера

[Melkij]

600к записей добавлялись 5 часов. Это нормально?

Если вы коммитили каждую запись отдельно, да ещё на дефолтном конфиге - могло было быть и хуже чем ~33 tps.
Если прочитать bulk insert раздел - то будет совсем другой результат.

[DoggoTheKing]

Melkij, Комичу не каждую запись отдельно

Answer 1

[Денис Круглик]

Можете повесить уникальный индекс на поле и убрать данную проверку:

CREATE UNIQUE INDEX ident
ON main_db (ident);

Так же в качестве id можете использовать не то поле, которые вы получили при парсе, а какое либо свое
и генерировать его как uuid 4: https://en.wikipedia.org/wiki/Universally_unique_i...
вот библиотека для генерации uuid: https://github.com/ramsey/uuid

Answer 2

[Дмитрий Энтелис]

Это должно быть очень быстро.
Убедитесь что есть уникальный индекс по полю ident.

Если вдруг надо прям совсем-совсем быстро, возьмите redis и храните в нем ключ-значение в виде ident - ваш id

Comments

[DoggoTheKing]

600к записей добавлялись 5 часов. Это быстро? Я ещё не работал с бд таких размеров, поэтому не знаю что как по времени

[Дмитрий Энтелис]

DoggoTheKing, это очень медленно.
Если индекс стоит, то проблема скорее всего не в проверке, а целиком в процессе вставки.