При работе с multiprocessing появляется ошибка кодировки?

Question

[Аля]

Что делать если при работе с multiprocessing на JUPYTER появляется ошибка кодировки, хотя с файлом все нормально и когда я проверяю его кодировку она UTF-8



При этом если я выполняю эту же задачу на тех же файлах через threading, то никаких ошибок нет.
Единственное, что я нашла про эту проблему это https://github.com/jupyterhub/jupyterhub/issues/1572 но и там нет никакого конкретного решения этой проблемы

Comments

[ScriptKiddo]

Без кода - только гадать на кофейной гуще

[Аля]

ScriptKiddo,

Вот так работает:

Phrase_1 = Thread(target = Noun_Phrase, args = ('./wiki/wikido1.txt', 'file_1.txt'))
Phrase_2 = Thread(target = Noun_Phrase, args = ('./wiki/wikiot1do2.txt', 'file_2.txt'))
Phrase_3 = Thread(target = Noun_Phrase, args = ('./wiki/wikiot2.txt', 'file_3.txt'))

Phrase_1.start()
Phrase_2.start()
Phrase_3.start()

Phrase_1.join()
Phrase_2.join()
Phrase_3.join()

Вот так нет:

data = [
    ('./wiki/wikido1.txt', './wiki/file_1.txt'),
    ('./wiki/wikiot1do2.txt', './wiki/file_2.txt'),
    ('./wiki/wikiot2.txt', './wiki/file_3.txt'),
]

with mp.Pool(mp.cpu_count()) as pool:
    pool.starmap(Noun_Phrase, data)

[Сергей Горностаев]

Аня, а если запустить этот же код в консоли IPython или передать как скрипт интерпретатору?