Как обучить word2Vec по дампу Википедии?

Question

[Alic_shadow]

Ребят,, кто-нибудь обучал word2vec в python по дампу векипедии? Сколько времени эно звняло. Я пытался, но что бы только создать корпус я прождал часов 9 так и не получилось

Comments

[Alic_shadow]

f = 'enwiki-latest-pages-articles.xml.bz2'
with open('wiki.en.text', 'w') as fout:
    w = WikiCorpus(f, lemmatize=False, dictionary={})
    for i, text in enumerate(w.get_texts()):
    	fout.write(' '.join(text) + '\n')
    	if i == 10000:
    		sys.exit()

Да, но как видите он находиться в xml , для обучения модели мне нужно что бы каждое предложение начинались с новой строчки. Но создания этого файла зпнимает очень много времени

[sim3x]

Alic_shadow, И?

[naruto_hokagi]

И выполняется очень долго, может я что-то не так написал ?

Answer 1

[Dimonchik]

ну корпус англоязычной -то есть готовый

Answer 2

[Андрей]

вот нашел примерное описание всех этапов textminingonline.com/training-word2vec-model-on-en...

Comments

[Alic_shadow]

Спасибо, оень полезная статья