Error: Canceled future for execute_request ... at t.KernelShellFutureHandler.dispose — что это может быть?

Question

[Роми]

Запускаю ячейку в расширении Jupiter Notebook внутри VSC и сначала появляется вот такое:

2022-12-25 21:04:05.228478: I tensorflow/core/platform/cpu_feature_guard.cc:193] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  SSE4.1 SSE4.2
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.

а потом все валится вот с таким стеком ошибок:

Error: Canceled future for execute_request message before replies were done
at t.KernelShellFutureHandler.dispose (/home/ro/.vscode/extensions/ms-toolsai.jupyter-2022.3.1000901801/out/extension.js:2:1204175)
at /home/ro/.vscode/extensions/ms-toolsai.jupyter-2022.3.1000901801/out/extension.js:2:1223227
at Map.forEach (<anonymous>)
at v._clearKernelState (/home/ro/.vscode/extensions/ms-toolsai.jupyter-2022.3.1000901801/out/extension.js:2:1223212)
at v.dispose (/home/ro/.vscode/extensions/ms-toolsai.jupyter-2022.3.1000901801/out/extension.js:2:1216694)
at /home/ro/.vscode/extensions/ms-toolsai.jupyter-2022.3.1000901801/out/extension.js:2:533674
at t.swallowExceptions (/home/ro/.vscode/extensions/ms-toolsai.jupyter-2022.3.1000901801/out/extension.js:2:913059)
at dispose (/home/ro/.vscode/extensions/ms-toolsai.jupyter-2022.3.1000901801/out/extension.js:2:533652)
at t.RawSession.dispose (/home/ro/.vscode/extensions/ms-toolsai.jupyter-2022.3.1000901801/out/extension.js:2:537330)
at runMicrotasks (<anonymous>)
at processTicksAndRejections (node:internal/process/task_queues:96:5)

гуглил, то ли памяти не хватает, то ли еще чего, но что делать с этим - совершенно непонятно.

GPU у меня нет.

что делать? в какую сторону думать?

Comments

[Роми]

p.s. код рабочий, в Colab все нормально происходит.

[Максим Припадчев]

Ну первое это вообще не ошибка и даже не предупреждение. Это инфа что tensorflow может ускорить процесс. Это совершенно нормально. Ну а второе ты не решишь. Это нехватка памяти и поэтому кернел умер. Ты не найдешь решение его просто нет. colab естественно работать будет.

[Роми]

Максим Припадчев, спасибо. А инфа - 100% )) насчет того, что этот непонятный стек именно про память?

И еще, в сети предлагают решение - уменьшить размер пакета или вроде того в tensorflow (оно именно в этой ячейке крашится) - но я не понимаю куда и как это воткнуть - что можно почитать по теме?

[Максим Припадчев]

Роми, Ок основываясь на личном опыте (подобное сообщение об ошибке в своей жизни я уже видел кстати tensorflow я не использовал в этих случаях, причина была нехватка памяти). Опять таки основываясь на личном опыте подобные проблемы не решаются (конечно если же углубится начать изучать и т.д. то может решение и есть). Если почитать что пишут другие по этому поводу (на английском я решения не нашел.). Я вчера искал мало ли может кто что сообразил по данному вопросу (нет никто никаких решений не предлагает.). Не очень пониманию что значит уменьшить размер пакета (он такой какой есть). Попробуй запустить код не из под VS Code, а из jupyter lab. В консоле jupyter lab набери ну и там разберешься (как colab) только на локальном хосте. Может это vs code имеет проблемы с менеджментом памяти (что вряд ли). Но попытаться можно.

[Роми]

Максим Припадчев, да, спасибо большое, это уже что-то!)

Кстати, в гугле советуют "переделать в .py и запустить" - типа сам ноутбук глючит, и чтобы исключить этот фактор - это просто мне расширение поменять и из консоли запустить как обычный скрипт для питона, или еще что-то надо переделать чтобы превратить .ipynb в .py? То есть скрипты для Jupiter чем-то принципиально отличаются по структуре от "обычного скрипта для Питона"?)))

[Максим Припадчев]

Роми, есть пакет nbconvert для преобразования .ipynb в py. Хотя по большому счету тупо скопировать и вставить в скрипт никто не отменял. Если говорить об отличии, то да они принципиально отличаются. В data science тебе иногда необходимы например пояснения математические формулы тебе доступен latex внутри markdown, который позволяет работать с крутыми математическими формулами. Одним словом у тебя есть оформленный документ. Непосредственно тренировку модели (это зависит от модели) можно иногда вынести в отдельный файл. Цель .ipynb это читабельный документ (легко распростроняемый) kaggle, colab и другие.

[Роми]

Максим Припадчев, круто. Спасибо большое!

[Роми]

В консоле jupyter lab набери ну и там разберешься

Все равно дохнет в этой ячейке)))

Но штука прикольная - НАМНОГО быстрее, чем в VSC :) Спасибо, даже не знал что такое у меня есть)))

[Роми]

Максим Припадчев, я нарыл немного ада по теме, может будет интересно))

https://qna.habr.com/answer?answer_id=1193754#answ...

оказывается эта штука (TF) может не работать с определенными версиями проца в зависимости от версии TF - это ж убиццо апстену, как писали во времена моей молодости ))))

как бы то ни было - ситуация постепенно проясняется -)

[Максим Припадчев]

Роми, Не знаю, не знаю. Я прочитал пост по ссылке. Первый раз такое вижу, а мне 37 лет. Не вчера я про tensflow услышал. Ок я не использую tensorflow часто, для тех разделов data science на которых специализируюсь он мне попросту не нужен. По этому я конечно не специалист по tensorflow. Но в то что определенные версии не работают с определенными процами я не верю от слова совсем.