Данных не так прям много, всегда лучше начинать с простой понятной логики, а потом, по необходимости, оптимизировать. Сейчас UNIQUE(`url`), завтра можно будет добавить поле `hashCRC32` INT и хранить там хэш строки в CRC32, уникальный индекс надо будет поменять на UNIQUE(`hashCRC32`, `url`) - по полю с целым числом будет быстрая выборка и двойной индекс не даст дубликатов.