Как найти схожий текст в Mysql?

Question

[mrgnv]

Есть база с 10.000 поздравительными речами (текстами).
При добавлении новой записи в бд хочу проверять, чтобы не было похожей записи.

Таблица records, поля id (int)|text(text)

1. Простой оператор LIKE при поиске не помогает (WHERE text LIKE 'текст из формы', WHERE text LIKE '%текст из формы%', WHERE text LIKE '%текст из формы%).

2. Просто WHERE text=текст из формы тоже не работает.

3.Пробовал сделать ключ FULLTEXT для поля text и искать через MATCH и AGAINST, но тоже толком не ищет.
Либо находит не один текст, а несколько, но похожих, либо ничего. Требуется же чтобы нашёл 1 запись...

Какие могут быть варивнты?

Comments

[Akina]

Нужно сформулировать математически критерий "схожести". Затем реализовать его в виде кода. На практике - задача крайне сложная. А в рамках SQL так и вообще не решаемая.

[Everything_is_not_so_bad]

Если что-то не работает, то нам остаётся только гадать где что не так. Примеров текста нет, ожидаемых результатов и запросов тоже.

Answer 1

[rPman]

Akina абсолютно прав, но в качестве ответа - одним из простых критериев похожести может быть отличие в количестве символов (известный алгоритм levenstein)
вот статья с примерами и реализациями на mysql
для postgres есть штатная реализация но нативные индексы так и не поддерживаются

p.s. повторюсь, sql базы данных для данной задачи к сожалению не подходит, чтобы это работало быстро потребуется предварительная обработка базы и построение псевдоиндексов

Answer 2

[ThunderCat]

При добавлении новой записи в бд хочу проверять, чтобы не было похожей записи.

"Похожий" - человеческое малоформальное определение. Все сильнее убеждаюсь что средняя особь кожаных мешков не шарит за формализацию. Распишите какие критерии "похожести" для вас являются приемлемыми. Можно на примере 2 текстов.

Comments

[Эдуард]

Думаю ему надо фигачить по числу использованных слов.
Чтобы "С днём рождения поздравляю!" было похоже на "Поздравляю с днём рождения!"
И отдельно фрагменты, чтобы
"Наш дорогой и любимый папа, поздравляю с днём рождения!"

[ThunderCat]

Эдуард,

Думаю ему надо фигачить по числу использованных слов.

Таким способом "Еб**ь оно все конем!" тоже будет похоже. Тоже 4 слова.

[rPman]

Все сильнее убеждаюсь что средняя особь кожаных мешков не шарит за формализацию

не заблуждайся, у тебя типичная 'ошибка выжившего', статистика народонаселения неверно собирается... те кто понимают просто не будут задавать тут вопросы, т.е. просто среднестатистически тебе будут чаще тут попадаться люди, которые не понимают или даже не могут понять, просто потому что к их количеству не будут добавляться те кто понимают.

[Эдуард]

ThunderCat, тьфу. "По использованным словам" конечно =\
https://pikabu.ru/story/kak_rabotaet_bayanopoisk_p...

Answer 3

[Константин Цветков]

проверка+плагиат — использовать онлайн или купить.