Как в SQL сравнить строки не учитывая стоп-слова?

Question

[Ernest Faizullin]

Есть список стоп-слов, которые не нужно учитывать при сравнении предложений, пример:

'концерт'
'группа'
'группы'
'альбом'
'альбома'
'песни'
'презентация'

При сравнении названий концертов, нужно чтобы вот такие фразы можно было идентифицировать как один и тот же концерт:

'Группа ZebraHead'
'Песни группы ZebraHead'
'ZebraHead'
'Концерт группы ZebraHead'
'ZebraHead. Презентация альбома'

В таблице тысячи названий концертов и среди них есть похожие названия, которые нужно выявить и объединить присвоив этим строкам group_id (наименьший идентификатор в группе).
Пробовал функцию Левенштейна, но в таблице много строк и она работает очень медленно, а иногда просто зависает.

Answer 1

[Pretor DH]

Может проще искать по общему ZebraHead?
`title` like '%ZebraHead%'

Если текст не длинный (только заголовки):
- создать таблицу со словами и соответствующему им id.
- выкинутть от туда стоп-слова путем пересечения таблиц.
- сделать подмены ошибок, транслитераций, вариаций.
- сгрупировать по словам.

Или воспользуйтесь опытом поисковых лингвистических анализаторов статья вам в помощь : https://habrahabr.ru/post/114997/
но быстро не будет.

P.S. Но я думаю, что нужно слегка поменять архитектуру.

Comments

[Ernest Faizullin]

Я не полностью описал проблему видимо. Мы не знаем по чему искать. В таблице тысячи названий концертов и среди них есть похожие названия, которые нужно выявить и объединить присвоив этим строкам group_id (наименьший идентификатор в группе)