Как хранить и искать URL адреса в MySQL?

Question

[Evgeny_A]

Здравствуйте.

У меня в MySQL таблице скопился миллион строк. Одна из колонок таблицы хранит URL адреса. Есть так же скрипт, который должен перед добавлением нового URL в таблицу проверить, нет ли ее уже там, и если есть, то получить первичный ключ этой записи. Проблемы как раз с поиском по этой колонке. Сейчас запрос вида:

cursor.execute("SELECT id FROM urls WHERE url = %s LIMIT 1", [url])

Легко может выполняться 60 секунд. Первое, что пришло в голову это делать индекс, но из за наличия в таблице URL длиннее 768 символов я не могу построить индекс для varchar колонки. Уникальный индекс мне тоже не построить. Кодировка utf8mb4_unicode_ci и повлиять я не это не могу.

Подскажите, как ускорить поиск по 1-2 секунд с учетом, что база таблица будет постоянно расти?

Comments

[Arman]

1. На часть разве нельзя сделать? символов 200-255, очень может ускорить
2. Рядом можно поставить второе поле CHAR или INT и использовать хэши md5 или CRC32, на это поле естественно индекс

[Evgeny_A]

Arman, а подскажите, пожалуйста, хеш создавать силами SQL сервера или скриптом (в моем случае Python)?

[Arman]

Evgeny_A, можно триггеры попробовать заюзать, но особо не пользовался ими. Подождите, может проще решение будет

[DevMan]

Evgeny_A, в общем, вообще не роялит.
в частности, может быть лучше генерировать питоном.
особенно, если база одна, а бэкендов много.

Answer 1

[Папа Стифлера]

Храните хеш от урла, его легко можно проиндексировать. И ищите тоже по нему.

Answer 2

[Evgeny_A]

Спасибо Arman и Папа Стифлера за подсказки. Решение, которое подошло полностью:

1. Добавил в таблицу новый столбец типа varchar
   
2. Создал для этой колонки самый обычный индекс
   
3. Написал скрипт на Python, который создает hash из URL для каждой строки
   
4. Переписал скрипт проверяющий налчие URL в базе так, чтобы он использовал hash
   

Теперь, чтобы запросы на существование записи вместо 60 секунд, выполняются в среднем меньше чем за секунду для таблицы с > 1 млн. строк.