Обучаю модель на doc2vec при обучении вылетает ошибка что ядро умерло.
The kernel appears to have died. It will restart automatically.
Я понимаю, что такая ошибка появляется когда не хватает памяти, как правильнее написать код?
corpus = ''
normal = Normalizer()
if __name__ == "__main__":
for i, file in enumerate(files):
try:
with open('.....', 'r') as text:
corpus += text.read()
if i % 100 == 0 or i == len(files):
sentences = normal.normalize(corpus)
documents = [TaggedDocument(sentences, [i])]
model.train(documents, total_examples=model.corpus_count, epochs=model.epochs)
model.build_vocab(documents, update=True)
model.save('model.model')
corpus = ''
if i % 1000 == 0:
print('Loading {0}/{1}, '.format(i, len(files)))
except BaseException:
print('ERROR {0}'.format(file))
Ошибка появляется в строке:
model.train(documents, total_examples=model.corpus_count, epochs=model.epochs)
так как у меня очень много данных я их разделяю на группы по 100 файлов и на них дообучаю модель, после чего беру следующую группу.
да-да я туп, можно без сарказма и остроумностей, мне правда нужна помощь.
я только учусь.
заранее спасибо.
