Как наиболее точно сравнить две строки?

Question

[Bjornie]

Есть строка (комплектация) A 170 Classic - 7/2004 - 85Kw, которую надо выбрать из результатов поиска, в котором есть такие строки:

A 170 CDI CAT CLASSIC
A 170 CDI CAT ELEGANCE
A 170 CDI CAT AVANTGARDE

Из первой строки меня интересует только A 170 Classic. Но я не могу ее сравнить точно со 2-й строкой, т.к. в ней посередине присутствует CDI CAT.

У меня уже получалось 100% точно выбирать нужную комплектацию, когда в переменных были хотя бы CV и Kw. Но в данный момент их нет.

Таких вариаций может быть очень много и хотелось бы понять как наиболее точно их сравнивать.

Comments

[Psq]

Не могу подсказать красивые решения (сам изучаю питон).

Я бы разбивал строки на составляющие (слова), и присваивал бы им веса.
Наиболее интересным для вас - больший вес. При накоплении минимально допустимого веса строка считается совпадающей.

[Сергей Горностаев]

Поясните, что значит "которую надо выбрать из результатов поиска, в котором есть такая строка"?

[javedimka]

Можно засплититт по пробелам, сделать нижний регистр, преобразовать в сет один из получившихся списков, сделать .intersection на второй список, по количеству слов в получившимся сете определяешь попал или не попал.

[Сергей Горностаев]

Bjornie, результаты чего? От того откуда у вас пришла строка, по которой вы ищите, и данные, среди которых вы ищите, а также от того, в каком виде эти данные в программе представлены, в немалой степени зависит ответ.

Answer 1

[Andrey Dugin]

Пример решения с использованием стандартной библиотеки difflib:

from difflib import get_close_matches as gcm

model = 'A 170 Classic - 7/2004 - 85Kw'.upper()
model_list = map(str.upper, [
    'A 170 CDI CAT ELEGANCE',
    'A 170 CDI CAT CLASSIC',
    'A 170 CDI CAT AVANTGARDE',
])

result = gcm(model, model_list, n=1, cutoff=0.5)[0]

print(result)  # => 'A 170 CDI CAT CLASSIC'

Также посмотрите в сторону difflib.SequenceMatcher().ratio(), это имеет прямое отношение к cutoff в примере выше:

from difflib import SequenceMatcher as SM

s1 = 'A 170 Classic - 7/2004 - 85Kw'.upper()
s2 = 'A 170 CDI CAT CLASSIC'.upper()

SM(isjunk=None, a=s1, b=s2, autojunk=True).ratio()  # => 0.52

Теория: Расстояние Левенштейна

Comments

[Bjornie]

Andrey Dugin спасибо, это очень круто. Т.к. для каждой модели комплектации будут более-менее похожими (хотя бы половина строки), могу ли я положиться на эту реализацию. Пример с Мерседесом был таким, а у Пежо может быть другой. В тестинге других вариантов я наверняка это узнаю, но хочется понять где магия у этой библиотеки.

[Сергей Горностаев]

Bjornie, по ссылке "Теория" вся магия описана.

[Andrey Dugin]

Bjornie, ознакомьтесь с документацией. Про get_close_matches() написано: "The best (no more than n) matches among the possibilities are returned in a list, sorted by similarity score, most similar first." - то есть первым (нулевым) элементом возвращаемого списка всегда будет наиболее похожая строка. При этом cutoff можно даже задать равным нулю, этот параметр используется только для редукции результата. Также через cutoff можно отсекать заведомо неподходящие результаты, чтобы в случае отсутствия логического совпадения не выводить наиболее похожее, которое ответом не является.

Answer 2

[Алексей Черемисин]

Ух, как я подразумеваю, вам нужен полнотекстовый поиск, так вам сюда -elasticsearch.com
сюда - elasticsearch-dsl.readthedocs.io/en/latest
и сюда - https://elasticsearch-py.readthedocs.io/en/master/

Другими словами,
1) ставите Elasticsearch
2) заливатете в него свои данные
3) ищете их из питона через ES python client API и ES python DSL

Получаете скилов и профит в быстром поиске.

PS. Если чо - обращайтесь.

PPS. Есть второй путь - сделать свой "обратный" индекс термов, где набору термов соответствуют ID документов, но это долго, нужно, муторно и дорого.

Comments

[Bjornie]

Алексей Черемисин у меня на самом деле все проще, внедрять такой комбайн в середине програмы чтобы проложить бороздочку - слишком :) Но спасибо за ответ, узнал кое-что новое!

[Алексей Черемисин]

Bjornie, весь вопрос в количестве сравнений и как долго они будут делаться. А внедрять не так и сложно.

Answer 3

[Hrabryi]

str1 = "A 170 Classic - 7/2004 - 85Kw".upper().split(' ') # не забываем привести к одному регистру

text = ['A 170 CDI CAT CLASSIC', '123']

search_words = [str1[0], str1[1], str1[2]] # Задаем ключевые слова для поиска

for sentence in text:
    for word in search_words:
        if word not in sentence:
            break
    else:
        print(sentence)

Answer 4

[Александр Таратин]

Легковесная альтернатива Elasticsearch sphinxsearch.com
sphinx умеет притворяться mysql ранних версий, поэтому можно брать любую python либу для подключения к mysql.
Туторы на православном chakrygin.ru/search/label/Sphinx немного устарели, но лучше не найти.