Как безопасно выгрузить данные из pickle-файла, модифицировать их, и обратно сдампить в Pickle?

Question

[Андрей Гриневич]

Здравствуй, добрый человек!

Мне необходимо реализовать такой каприз. В обработку поступает пикл-файл (преимущественно 2 прото-версии, но это не принципиально), в котором имеются как и встроенные типы/структуры данных (словари, множества и так далее) так и классы/модули из пользовательского пространства. Мне необходимо загрузить содержимое файла (при этом не доставлять/не импортировать или самостоятельно не описывать пользовательские классы или модули). В дальнейшем я предполагаю какую-то модификацию встроенных типов (например добавили значение в словарь из этого дампа или поменяли значение в другом словаре) и модицифированное содержимое обратно поместить в пикл, не повредив его при этом).

Если попробовать схематически расписать флоу, то оно выглядит примерно так:
- загружаем модуль (попутно фейками неимпортируемые объекты)
- модифицируем загруженные объекты
- дампим обратно весь модуль с модифицированными объектами

Вопрос включает несколько других вопросов.
- Какой предпочтительный путь распознавания неимпортируемых объектов (пользовательские импорты или объекты) и чем их заменять.
- Каким подходом воспользоваться для удобной модификации объектов из распикленного содержимого (условно - как хранить то что мы загрузим при дессериализации пикла)
- Как первые два пункта сделать настолько аккуратно, чтобы потом смочь запаковать контент (сдампить) обратно в такой же пикл, но с примесью уже модифицированного нами контента?
- Как сериализовать пикл и случайно не выполнить вредоносные инструкции?

UPD: с такой историей могли столкнуться, к примеру, те кто работает с `renpy` и декодирует файлы игры и файлы сохранений.

UPD_1: Работаю в большой существующей экосистеме и моей целью не стоит "выдумать новый формат". Увы, его уже выдумали (пиклить содержимое и таким образом сохранять состояние процесса) и моей задачей стоит работать с ним.

UPD_2: Авторы экосистемы ака фреймворком вообще никак не связаны со мной и с моим заказчиком, их философия плюс-минус заключается в "дамп не покидает рабочую станцию". Есть другие люди, те, кто пользуется этим фреймворком для написание софта и они пиклят свое состояние (тут уже появляются и дампятся их собственные сущности). С этими людьми у меня нет возможности контактировать и тем более настроить некий обмен версиями.
Зато есть те, кто пользуется софтом и вот уже их проблемы мне нужно решать (они тоже по факту готовы делиться лишь дампом, но никак не купленым софтом)

Comments

[Владимир Куц]

А зачем так извращаться, чем тот же json не угодил?

[Андрей Гриневич]

Формат не мой, увы, сделать человечным не предоставляется возможным.

Answer 1

[Anton Kuzmichev]

Давайте начнём с того, что откроем для себя, как пикл сериализует классы:

>>> class MyKnowHowClass:
...   SECRET = '42'
...   TOP_SECRET = 'Kennedi was killed by UFO'
... 
>>> import pickle
>>> pickle.dumps(MyKnowHowClass)
'c__main__\nMyKnowHowClass\np0\n.'
>>>

То есть, это всего лишь "указатель", описание того, откуда брать структуру данных. Если пикл не найдёт класс там, где указано - будет ЕГГОГ.
Встроенные типы - ок. Наполняйте встроенные типы (списки, сеты, словари и т.п.) такими же встроенными типами (то же самое + скаляры) - и будет вам автономный пикл.
А с пользовательскими классами - не-а.

UPD:
Если у вас экосистема, и тем более большая, и тем более уже выдумали "формат" - наверняка уже должны быть решены многие вопросы. Например, вопросы безопасности (ваш п.4), вопросы о загрузке-выгрузке (п.3), да и много чего можно посмотреть существующего и работающего на тему лучших практик по остальным двум пунктам.

Comments

[Андрей Гриневич]

Спасибо за мини-экскурс в пикл, это уже успел раскурить. Обновил вопрос и отпишу тут - моей целью не является "создать формат", уже существует фреймворк который это делает и мне по факту нужно работать с тем, что имею. Пример опять же из обновлений вопрос - `renpy` (или может есть еще, но этот нагуглил первым)

[Anton Kuzmichev]

Андрей Гриневич, тоже обновил, ключевой момент - если уже есть фреймворк, и даже формат - откуда такие вопросы? Разве все они или их большинство ещё не решены?

[Андрей Гриневич]

Да, хороший комент и нет, проблемы не решены. Про сам фреймоворк это чисто мое оценочное суждение, но сам фреймворк выглядит безопасным с точки зрения, если условные дампы не покидают машину на которой запущены и никто не догадается начать переносить состояние или обмениваться им. Но время идет, требования меняются и теперь эти дампы могут попадать на другие машины и переносить "как есть" уже не устраивает (начиная от необходимости отмодицифровать внутренее состояние и заканчивая неким аудитом содержимого). Плюс условных машин с состояниями многое множество и не всегда есть доступ к исходникам, чтобы полностью загрузить дамп и "честно" распиклить содержимое.

[Anton Kuzmichev]

Андрей Гриневич, ну, наверно вы уже понимаете, что в стеке Python (и многих других интерпретируемых языков) самое лучшее с точки зрения ваших требований решение будет самым худшим с точки зрения безопасности?
Вот это вот "не всегда есть доступ к исходникам, чтобы полностью загрузить дамп" означает, что вам в каком-то виде нужно обмениваться этими исходниками. А это вообще не то, до чего стоило бы доводить, и что-то явно системно не так, если дошло до подобного.
"Но время идет, требования меняются и теперь эти дампы могут попадать на другие машины и переносить "как есть" уже не устраивает" - вот с этим аккуратнее. Если у вас есть возможность влиять на архитектурные решения - накладывайте вето.
Общий принцип: используйте что угодно, хоть пикл, хоть json. НО: обменивайтесь только структурами данных, не своими классами и тем более не кодом! Списки, таплы, словари, множества, скаляры.
Как вариант, версионируйте ваши "дампы". Помечайте, какой версией вашего софта он создан, и не позволяйте загружать дамп версией ниже той, которой дамп помечен, чтобы гарантировать успешную работу с ним. Кому надо будет работать с дампом версии выше - значит, пришло время обновить исходники софта. И не забывайте про обратную совместимость по ходу разработки.

[Андрей Гриневич]

Мне очень приятно, что есть небезразличные люди, которые готовы вкладываться чтобы наставить на правильный путь :) Советы дельные и могли бы спасти мир, есть еще вводная, которая на дает мне это сделать.
Авторы фреймворка вообще никак не связаны со мной и с моим заказчиком, их философия плюс минус заключается в "дамп не покидает рабочую станцию". Есть другие люди, те, кто использует этим фреймворком для написание софта и они пиклят свое состояние (тут уже появляются и дампятся их собственные сущности). С этими людьми у меня нет возможности контактировать и тем более настроить некий обмен версиями.
Зато есть те, кто пользуется софтом и вот уже их проблемы мне нужно решать (они тоже по факту готовы делиться лишь дампом, но никак не купленым софтом)