Насколько уникальным получится id, сгенерированный из md5 хеша строки?

Question

[Alex Plotnikov]

Теоретический вопрос: нужно генерировать уникальный id, на основе title новости. Не долго думая, запили такой велосипед, но задался вопросом, при миллионах статей с уникальными title, останется ли так же уникальным id сгенерированный подобным способом?

$string = md5('Some unique string');
echo $string.'<br>';
$string= preg_replace('~[^0-9]+~','',$string); 
echo (int) $string.'<br>'; 

//result
//eb939f7a375f5520b090e49396e8393e
//9223372036854775807

так не получается получить уникальный id, какие варианты есть? нужно для того, что бы перед добавлением статьи в базу, проверить нет ли такого-же title, по id быстро искать, по like %title% долго...

Comments

[Alex Plotnikov]

9223372036854775807 это максимум, соответственно дубли будут. печаль

Answer 1

[Danil Sapegin]

ИМХО, делайте так как написали
В базе отдельное поле varchar 32 для хэша, туда MD5 от title и на это поле вешаете индекс в БД
Поиск будет очень быстрый

Answer 2

[Александр Аксентьев]

Случайно коллизию поймать шанс на миллионах вряд ли есть. (https://stackoverflow.com/a/288519)
Если не вырезать ничего из хеша конечно, зачем вы буквы-то удаляете?
ID != только цифры

В целом смысла никакого в затее, тогда уж uniqid() брать или mt_rand().

Comments

[Alex Plotnikov]

буквы удаляю, чтоб сделать id записи в базе и на основе этого же id разложить контент в файловой системе /xx/xxx/xxxx(где xxx остаток от деления id на разные числа)

[Alex Plotnikov]

так же нужна проверка по базе на уникальность title, в больших объемах и быстро.

[Alex Plotnikov]

точнее так, объясню чуть подробнее, в обработчик контента заходит title, имея title нужно сразу проверить в базе, есть ли такой же, и если нет, только тогда начинать дорогие операции по обработке контента(видео) и класть в базу результат.

объемы большие, по этому like %title% запросы не вариант

[sim3x]

Alex Plotnikov,

делаете числовой id
делаете BLAKE2(title)

Любое уменьшение хеша приводи к резкому увеличению коллизий

[Alex Plotnikov]

sim3x,

по хешу то все понятно, но как быстро по нему в базе найти или не найти результат(и таких запросов тысячи/сек), по id числовому то понятно что будет моментально.

[sim3x]

Alex Plotnikov,

id нужен для однозначной идентификации записи
так или иначе поля, по которым будет происходить поиск, потребуется индексировать

по хешу ничего не будет понятно моментально

[Александр Аксентьев]

Alex Plotnikov, зачем вам like если тайтлы уникальные и должно быть точное вхождение(логика же).
Миллионы строк это мало для mysql/pgsql/mssql.
Для скорости есть индексы, и даже уникальные индексы как раз для вашего случая.
В крайнем случае если будет медленно(а оно не должно быть с индексом на тайтл), можно использовать какой-нибудь сверху движок а-ля sphinx, хотя это скорее наоборот не нужно учитывая уникальность строк.

Ну и собственно хеши зачем здесь вообще какие-то если всё по уникальным тайтлам, пускай тайтл и будет идентификатором. Зачем делать обработку которая по факту не нужна.

Answer 3

[Denis]

Может оффтоп есть же специальные библиотеки для получения уникального идентификатора по типу
https://github.com/ramsey/uuid