Выборка похожих результатов / MySQL

Question

[Kir Shatrov]

Есть база с примерно таким содержанием:
Пупкин Вася
Пупкин В.
Вася Пупкин
Фамилькин Л.
Людвиг Аристархович Фамилькин
Фамилькин
Держиморда Кирилл

Надо выбрать и посчитать количество похожих записей средствами PHP/MySQL.
Например:
Пупкин - 3 шт.
Фамилькин - 3 шт.
Держиморда - 1 шт.

Как реализовать?

Comments

[Александр Белугин]

А «Вася Пупкин» может быть?

[Kir Shatrov]

Да, может. Сейчас добавлю в образец.

[JeanLouis]

Вы хотите посчитать количество одинаковых слов?

[Kir Shatrov]

Получается, что да

[JeanLouis]

Тогда лучше всего нормализовать данные, разбив на слова. Иначе это будет очень медленный запрос.

[TimTowdy]

Чтоб посчитать количество одинаковых слов MySQL вообще не нужен. Все слова кидаем в файл/память, создаём хеш слов, проходим по каждому слову, делаем $words[$word]+=1. Или MapReduce если памяти не хватает.

[JeanLouis]

Все это может сделать MySQL за вас

[TimTowdy]

Только если данные перед этим подготовить — сделать нормализацию. MySQL может и MD5 посчитать, это ж не значит что его стоит для этого использовать. Нужно не задачу подстраивать под инструменты, а инструменты под задачу.

Answer 1

[TimTowdy]

Вы сначала определитесь как вы будете выделять кластера. Если в ваш список добавить «Людвиг Аристархович Пупкин» — куда его отнесёте? К Пупкиным, или к Людвигам, или к обоим одновременно?
После того как решите как выделять кластера, можете воспользоваться расстоянием Левенштейна для определения принадлежности к кластеру.

Answer 2

[JeanLouis]

I. Если вы хотите посчитать количество одинаковых слов, то есть:
Пупкин — встречается 3 раза
Вася — встречается 2 раза и т.д, то это можно сделать либо с помощью хранимой процедуры, либо другим методом перебора (в php), либо (лучше) нормализовать данные, чтобы в одной строке было только одно слово, тогда можно будет использовать оператор GROUP BY.

II. Если выхотите посчитать количество одинаковых фамилий (что я думаю вы и хотите), то базу данных опять же лучше нормальзовать по такому принципу:

1. Самое длинное слово в строке брать за фамилию, если оно не оканчивается на «ич», «еч» и другие характериные для отчества окончания, в противном случае брать следующее наиболее длинное слово в строке.
2. Самое короткое слово в строке брать за имя.

Эти данные записать в таблицу с колонками Фамилия и Имя (или какой-то другой подходящий формат) при этом можно сохранить ключи на исходные заиписи. После чего по полю Фамилия можно использовать GROUP BY.

Как-то так. Ваша проблема в ненормализованных данных.

Comments

[nikita2206]

> если оно не оканчивается на «ич», «еч»
Церкасевич

[JeanLouis]

Это уже неактуально, автор количество слов хочет.

[Kirill Boldyrev]

Угу. Рабинович у нас отчество, а Ким — фамилия.

Answer 3

[Jazzist]

Если решение должно быть нересурсоемким, и его надо сделать как можно быстрее — добавьте два поля, заполните их разбитым на слова (по пробелу и trim точку) ФИО, и ищите по ним OR LIKE