Почему умирает ядро на Jupyter?

Question

[Аля]

Обучаю модель на doc2vec при обучении вылетает ошибка что ядро умерло.

The kernel appears to have died. It will restart automatically.

Я понимаю, что такая ошибка появляется когда не хватает памяти, как правильнее написать код?

corpus = ''
normal = Normalizer()
if __name__ == "__main__":
    for i, file in enumerate(files):
        try:
            with open('.....', 'r') as text:
                corpus += text.read()

            if i % 100 == 0 or i == len(files):
                sentences = normal.normalize(corpus)
                documents = [TaggedDocument(sentences, [i])]
                
                model.train(documents, total_examples=model.corpus_count, epochs=model.epochs)
                model.build_vocab(documents, update=True)
                model.save('model.model')
                corpus = ''

            if i % 1000 == 0:
                    print('Loading {0}/{1}, '.format(i, len(files)))
        except BaseException:
            print('ERROR {0}'.format(file))

Ошибка появляется в строке:

model.train(documents, total_examples=model.corpus_count, epochs=model.epochs)

так как у меня очень много данных я их разделяю на группы по 100 файлов и на них дообучаю модель, после чего беру следующую группу.
да-да я туп, можно без сарказма и остроумностей, мне правда нужна помощь.
я только учусь.
заранее спасибо.