Как найти дубликаты на основе первого значения в таблице Mysql?

Question

[Вадим Дунькин]

Имеется таблица городов, где в разном наименовании записаны названия, пример

• Лосино-Петровский
  
• Лосино-Петровский городской округ
  
• г. Лосино-Петровский
  

Например строка Лосино-Петровский она записана правильно, так вот как мне найти дубликаты на основе это строки? Сам пытал google но то ли я неправильно запрос заполнял то ли запросов sql не поможет? нужно через код все делать?

Такой запрос не прокатывает

SELECT * FROM localities as Locality WHERE title IS NOT NULL GROUP BY Locality.title HAVING COUNT(*) > 1 LIMIT 0,100

Answer 1

[Иван]

select 
Locality.*,
Doubles.title as double_title
from localities as Locality
left join localities as Doubles
on Doubles.title like concat('%', Locality.title, '%') and not Doubles.id = Locality.id

Запрос тяжелый, но выведет сразу все дубли

Answer 2

[Никита Колесников]

Не это случаем? Тык

Comments

[Вадим Дунькин]

Про оператор LIKE я знаю, но тут в чем прикол, в таблице помимо приведенного есть и другие значения, их хочется также найти,

[Никита Колесников]

Вадим Дунькин, а что, второй запрос сделать не получится?

[Вадим Дунькин]

Никита Колесников, как понять? по идее я хочу чтобы на языке sql найти дубли, если такого решения нет, то значит придется через php код искать дубликаты

[zhaar]

Вадим Дунькин, если дело только в адресах, и они в РФ, то посмотрите на любой проект, который дает подсказки по адресам из данных ФИАСа. У Дадаты есть сервис подсказок (10к в день бесплатно), если разово распарсить существующие адреса - либо писать обертку через подсказки, либо воспользоваться платной услугой).