Как разобрать вложенный список с помощью sklearn?

Question

[motcart]

Подскажите как с помощью sklearn обработать такой датасет в виде списка:

tt = {
    'key1': ['value1', 'value2', 'value3'],
    'key2': ['value2', 'value4'],
     ...
}

Список формируется динамически, может быть разное количесвто ключей и значений.

Пользователь вводит строку
data = input()

Из списка надо выбрать ключ подходящий не менее чем на 60% сравнив ввод пользователя и каждый value.
Я смог сделать вывод для списка вида [ключ:значение], но не могу понять как это сделать когда в значении тоже список.

Comments

[Михаил Р.]

Показывайте код, который написали, и что конкретно в нем не получилось?

[motcart]

Михаил Р.,

tt = {
    'key1': 'value1',
    'key2': 'value2',
}
data = input()

vectorizer = CountVectorizer()
vectors = vectorizer.fit_transform(list(tt.values()))
    
clf = LogisticRegression()
clf.fit(vectors, list(tt.keys()))

text_vector = vectorizer.transform([data]).toarray()[0]
answer = clf.predict([text_vector])[0]

Вот так работает.
Только у меня датасет немного другой. И я не понимаю как расчитать вектор каждого значения.

tt = {
    'key1': ['value1', 'value2', 'value3'],
    'key2': ['value2', 'value4'],
     ...
}

Датасет формирую не я. И не хотелось бы конвертировать его каждый раз в формат ключ:значение, занимая время. В датасете иногда до 3000 ключей, в каждом в среднем от 5 до 20 значений.

Answer 1

[Aragorn]

Можно использовать sklearn для вычисления косинусного сходства между векторами

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# Пример данных
tt = {
    'key1': ['value1', 'value2', 'value3'],
    'key2': ['value2', 'value4'],
}

data = input("Введите строку:  ")

# Преобразование значений в строки
tt_values = [" ".join(values) for values in tt.values()]

# Добавление пользовательского ввода в список значений
tt_values.append(data)

# Преобразование текста в векторы
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(tt_values)

# Вычисление косинусного сходства
cosine_sim = cosine_similarity(X[-1], X[:-1])

# Порог сходства
threshold = 0.6

# Поиск наиболее подходящего ключа
best_key = None
best_similarity = 0

for i, key in enumerate(tt.keys()):
    similarity = cosine_sim[0][i]
    if similarity >= threshold and similarity > best_similarity:
        best_similarity = similarity
        best_key = key

if best_key:
    print(f"Наиболее подходящий ключ: {best_key} с сходством {best_similarity}")
else:
    print("Нет подходящего ключа.")

Comments

[motcart]

В этом случае сравнение идет со всем значениями в виде строки. Т. е. мы не можем написать valeu1 и сказать, что он есть в ключе key1. Сходство будет только если ввести все значения через пробелм value1 value2 value3. Только так будет 100% совпадение.