Mysql — запрос?

Question

[mihelsonkk]

Ситуация - python2.7, orm peewee
есть список url L
нужно добавить его в таблицу, без повторений.
Сейчас так - столбец url с ключом unique, при добавлении ничего не проверяю, просто оборачиваю insert try except ом и все. Решение разонравилось после того как заметил что id по автоинкременту все равно увеличиваются, под нагрузкой id легко может быстро достичь больших значений как здесь habrahabr.ru/post/156489 да и плодить кучу ворнингов не хочется.
Подскажите, как сделать лучше?

Думал о варианте - сначала селектнуть весь столбец url из базы и пробегая в приложении по списку урл L проверять наличие. Не нравится то что если в списке урл L есть совпадения то опять же -может быть дубль.

Или делать по одному селекту для каждого элемента из списка например с LIMIT 1 и числовым хеш-индексом?

upd
Решение Wol_fi Wol_fi
+коммент Wol_fi Wol_fi
в качестве альтернативы - можно использовать CRC32 от url как первичный ключ

Comments

[smitevg]

Сначала свой список URL избавте от дублей.

[mihelsonkk]

smitevg: если буду селектом всех строк делать - то придется, да

Answer 1

[Wol_fi]

уникальный индекс на url и INSERT INGORE(не будет выкидывать эксепшнов и ошибок при попытке вставить дубликат), просто и быстро.
зачем вам там автоинкрементный айди нужен?

Comments

[mihelsonkk]

id в этой таблице мне нужен для связей моделей в orm
зачем именно автоинкремент? не знаю, не думал об этом. так что можно сказать он у меня по дефолту. а есть альтернативы?

[Wol_fi]

mihelsonkk: в качестве альтернативы - можно использовать CRC32 от url как первичный ключ

[mihelsonkk]

это интересно! то есть убираю автоинкримент с id , при инсертах явно указываю поле id = crc32(url), при селектах проверяю совпадение url только с crc32. верно? совпадение по полю url можно не проверять так как это первичный ключ, верно? получается, при коллизии crc32 я просто не смогу сделать инсерт в таблицу из-за первичного ключа и получу экспешн без ignore или тихий discard строки с использованием ignore?

[Wol_fi]

mihelsonkk: да, именно так, конечно вероятность коллизии у CRC32 выше,чем у других алгоритмов хеширования, но в случае чего можно подобрать и другой алгоритм, тут главное принцип действий.

[mihelsonkk]

благодарю! очень нравится ваше решение!