Как разобрать вложенный список с помощью sklearn?

Question

[motcart]

Подскажите как с помощью sklearn обработать такой датасет в виде списка:

tt = {
    'key1': ['value1', 'value2', 'value3'],
    'key2': ['value2', 'value4'],
     ...
}

Список формируется динамически, может быть разное количесвто ключей и значений.

Пользователь вводит строку
data = input()

Из списка надо выбрать ключ подходящий не менее чем на 60% сравнив ввод пользователя и каждый value.
Я смог сделать вывод для списка вида [ключ:значение], но не могу понять как это сделать когда в значении тоже список.

Comments

[Михаил Р.]

Показывайте код, который написали, и что конкретно в нем не получилось?

[motcart]

Михаил Р.,

tt = {
    'key1': 'value1',
    'key2': 'value2',
}
data = input()

vectorizer = CountVectorizer()
vectors = vectorizer.fit_transform(list(tt.values()))
    
clf = LogisticRegression()
clf.fit(vectors, list(tt.keys()))

text_vector = vectorizer.transform([data]).toarray()[0]
answer = clf.predict([text_vector])[0]

Вот так работает.
Только у меня датасет немного другой. И я не понимаю как расчитать вектор каждого значения.

tt = {
    'key1': ['value1', 'value2', 'value3'],
    'key2': ['value2', 'value4'],
     ...
}

Датасет формирую не я. И не хотелось бы конвертировать его каждый раз в формат ключ:значение, занимая время. В датасете иногда до 3000 ключей, в каждом в среднем от 5 до 20 значений.

Answer 1

[motcart]

Сам же и отвечу. Подсказали в тг чате по питону.

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

tt = {
    'key1': ['value1', 'value2', 'value3'],
    'key2': ['value2', 'value4'],
}

def compare_strings(user_input):
    vectorizer = TfidfVectorizer()
    all_values = [item for sublist in tt.values() for item in sublist]
    all_values.append(user_input) # Добавляем входную строку
    vectors = vectorizer.fit_transform(all_values)
    user_vector = vectors[-1] # Вектор входной строки

    results = []
    for key, values in tt.items():
        for value in values:
            value_vector = vectors[all_values.index(value)]
            similarity = cosine_similarity(user_vector, value_vector)[0][0]
            results.append({'key': key, 'value': value, 'similarity': similarity * 100})

    return results

user_input = input("Введите строку: ")
results = compare_strings(user_input)
for result in results:
    print(f"Ключ: {result['key']}, Значение: {result['value']}, Процент совпадения: {result['similarity']:.2f}%")