Можно ли хранить состояние выполнения курса в python pycorn2 и продолжить выполнение с момента ошибки?

Question

[NIKA_R]

Есть очень большой, но критически важный скрипт, нужно как то хранить состояние его выполнения. Очень с трудом представляю как это сделать. Грузить в temp файл какое-то значение или хранить в памяти как-то текущую обрабатываемую строку? Предложите алгоритм, нет идей. Возможно ли это сделать через __pycache__ ?

Comments

[Алан Гибизов]

Без существенной переделки скрипта ИМХО не получится.

Answer 1

[Алан Гибизов]

Полагаю, без переделки скрипта не обойтись. Кмк, есть два схожих пути:
1. Скрипт должен уметь: на каждом этапе вычислений фиксировать состояние этапа, и уметь найти крайний этап и продолжить с него. Что-то вроде машины состояний. Тут можно и в базу писать.
2. Скрипт должен быть разделен на несколько фрагментов - подпрограмм, и результаты каждого отдельного скрипта-подпрограммы фиксируются, и для каждого должна быть возможность повторить. Фактически, вариант первого, но с нюансом, что это может быть не единый скрипт, а цепочка слабо связанных скриптов.

Вопрос в том, как мелко надо «порубить» исходный большой скрипт.

Да, в случае взаимодействия с внешними ресурсами надо учитывать способность этих ресурсов восстановить соединение или создать новое с учетом состояния основного скрипта.

Answer 2

[Вадим Шаталов]

1. database
2. pickle

Comments

[Алан Гибизов]

И что database? Это надо в скрипте на каждом шаге состояние всех переменных, в т.ч. в областях видимости функций, сохранять в бд. Это надо прям дебаггер встроить в приложение с выгрузкой пошагово в базу. Нереально. То же и pickle - это надо каждый объект сохранять каждый шаг.

Сомнительные предложения. Вроде предложения филина из анекдота: «мыши, станьте ёжиками!»

[Алан Гибизов]

Да еще непонятно, как в случае ошибки восстановить состояние и продолжить…