Какая МЛ модель лучше подходит чтобы находить похожие названия (похожие не по смыслу)?

Question

[Ася]

У меня есть очень много названий (['American shop', 'USA store', 'Amer1c4n sh0p', ...]
и мне нужно закодировать в вектора которые помогут найти ближайшие названия по написанию, а не по смыслу. Как я понимаю word2vec и прочие модели помогают связать слова именно по смыслу, и ближайшими окажутся 'American shop', и 'USA store', а не 'American shop' и 'Amer1c4n sh0p'

Я пробовала использовать glove:

model = KeyedVectors.load_word2vec_format('glove.6B.50d.w2vformat.txt', binary=False)
weights = torch.FloatTensor(model.vectors) 
embeds = nn.Embedding.from_pretrained(weights)
encoded_name = embeds(lookup_tensor)

но это не работает (?)

Comments

[mayton2019]

Я не знаю что такое glove. Но есть функция Левенштейна которая кодирует редакционное
расстояние между словами. Например между Amer1c4n и American будет какое - то количество
редакций. Например замена двух символов == 2. И если создать справочник эталонных
слов и слов с ошибками то предварительной обработкой сырого датасета можно
свести ошибочные слова к правильным а дальше уже искать твоим алгоритмов фразы и сентенсы.

Answer 1

[Сергей Соловьев]

Это называется стиль leet - https://ru.wikipedia.org/wiki/Leet
Тут даже ML модель не нужна, алгоритм простой:
1. Переводишь из leet в нормальный язык -> простая замена символов
2. Нормализуешь
3. Находишь расстояние хэмминга

Comments

[Ася]

как я понимаю это лишь для случая с заменой латинских букв на похожие цифры. я наверное привела не полный пример - в моем случае это могут быть такие случаи, либо любые другие (ака ошибки в написании, лишние буквы и слова)

[Ася]

нужно чтобы модель находила похожие по написанию названия, несмотря на ошибки/стиль лиит/добавочные символы

[Сергей Соловьев]

В любом случае, тут больше подходит расстояние хэмминга (либо в комментах сказали про левенштейна).
На мой взгляд, это больше подойдет, т.к. дело ведется с ошибками ввода:
- Можно в любой момент увеличить словарь и находить (+ исправлять) больше ошибок
- Скорость работы в разы быстрее
- Можно нормально распараллелить

Нейронная сеть здесь - лишнее.

[Ася]

Сергей Соловьев, не получится так просто "увеличить словарь и находить (+ исправлять) больше ошибок" потому что датасет из 5млн названий

[Сергей Соловьев]

Ася, и? 5 млн норм. для больших потребностей - большие требования

[fenrir]

Ася,

нужно чтобы модель находила похожие по написанию названия, несмотря на ошибки/стиль лиит/добавочные символы

Если специфические условия, которые меняются на ходу, значит тренируете стою модель на своих же данных. Датасета в 5млн более чем достаточно чтобы сделать выборку.

Все зависит от постановки, я скажем не понимаю что значит "несмотря на ошибки". Если, я написал "XYZ", но сделал в слове 3 ошибки, это приемлемо? Вы можете математически описать что вы ожидаете? А осознаёте что модель при предсказаниях может ошибаться и не факт, что будет работать лучше обычного нечёткого поиска?

[mayton2019]

(['American shop', 'USA store', 'Amer1c4n sh0p', ...]

Если в обучающей выборке процент неправильных слов будет больше чем правильных, тогда
сеть сойдется к неправильному базису и все Американ Шопы превратятся в Am3rikAn 5h0p.

Такое вот оно, самообучение.

Answer 2

[Griboks]

Нечёткий поиск