Не понимаю как связать word2vec с Алгоритмом минимального покрывающего дерева (MST)?

Question

[nasdi]

Собрал датасет из 1.3 млн документов. Прогнал через алгоритм word2vec. При помощи MST хочу получить кластеры тем этих документов.

import pandas as pd
import gensim.models.word2vec as w2v
import networkx as nx
import matplotlib.pyplot as plt

df = pd.read_excel('history_of_groups_by_user.xlsx', header=None, encoding='windows-1251')
df = df.dropna(subset=[0])
df = pd.DataFrame([item for item in df[0].values if not isinstance(item, int)])

text = []
for i in df[0]:
    text.append(i.lower().split())

model = w2v.Word2Vec(
    sentences=text,
    seed=42,
    size=50,
    min_count=5,
    window=4,
    sample=1e-3)

Answer 1

[Данил]

Если в общем - Word2Vec перевидет каждое слово в вектор, в Вашем случае, размерности 50. Дальше, Вам надо построить вектор всего документа, например, взяв среднее всех слов (векторов).

Псевдокод:

embedding_matrix = []

def build_matrix(text):
    for token in text:
         embedding_matrix.append(model.wv[token] )

    return np.mean(embedding_matrix, axis=0)

df['vector'] = df['text'].apply(lambda t: build_matrix(t))

В итоге, у Вас каждый документ представлен вектором размерностью 50, который можно подать на вход любому алгоритму.

Comments

[nasdi]

Попробовал запустить на довольно маленьком наборе данных(53 мб). После примерно 8 часов работы
так и не выполнил эту срочку

df['vector'] = df['text'].apply(lambda t: build_matrix(t))

Хотя функция работает

[Данил]

Немного был занят, а тут попалась статья и напомнила о вопросе - Using word2vec to Analyze News Headlines and Predi.... В статье есть функция - document_vector , которая реализовывает похожий функционал.

Там есть ссылка на код, надеюсь будет полезно.