Зачем нужна сериализация?

Question

[DollyPapper]

Сериализация (в программировании) — процесс перевода какой-либо структуры данных в последовательность битов. Обратной к операции сериализации является операция десериализации (структуризации) — восстановление начального состояния структуры данных из битовой последовательности.

Всем привет.Обьясните на простом примере,зачем нужна не то чтобы сериализация,а именно модуль pickle || cPickle в python?Например записывая в файл или передавая в сокет данные мы можем указать в том же файле флаг b,чтобы запись производилась в двоичном режиме.Зачем нужно предварительно сериализовать обьект с помощью модуля pickle?

Answer 1

[Сергей Горностаев]

Предположим, есть у вас сложная иерархия классов, в каждом из которых с десяток полей. Некоторые поля ссылаются на объекты других классов или, того хуже, содержат коллекции объектов. При использовании сериализатора, вам достаточно одной строки для сохранения словаря, содержащего объекты из этой иерархии, в файл:
pickle.dump(some_dict, some_fh)
А если будете писать код для ручного сохранения всего этого изобилия в файл, то у вас либо получится объёмный, сложный и глючный код, либо ещё одна версия pickle.

Answer 2

[Anton Kuzmichev]

Сериализация:

• это обобщённый процесс для структур языка программирования.
  
• нужна для любого взаимодействия в системе, выходящего за рамки передачи данных в текущем скрипте: даже если вам кажется, что она не используется - это не так, она всё равно используется под капотом.
  

Сериализация гарантирует (для поддерживаемых структур данных), что после процесса сериализации/десериализации вы получите те же самые структуры данных.

Не будь её, вам бы понадобилось вручную создавать свои протоколы и методы перевода данных в вид, пригодный для передачи куда-либо.
Ну и, модуль pickle - это встроенная реализация сериализации, но в то же время - одна из многих. Вы можете использовать, например, json, или yaml. Что угодно, что переведёт обычные структуры данных в пригодную для передачи форму (строку, байтовая строка) и вернёт (десериализует) обратно.

Comments

[DollyPapper]

Спасибо,это понятно.Но например при передачи через сеть,зачем нужно инкапсулировать строку в байты именно в моем скрипте?Разве какой либо из уровней модели OSI,не делает это?Или можно просто передать строку в сокет и он сам превратит ее в байтовую строку?И если я самовольно сериализую обьект перед передачей в сокет,он уже будучи в двоичном формате еще раз сереализуется каким либо уровнем модели OSI(говорю каким либо,потому что не знаю на каком этапе это происходит)?То есть проделает ту же работу еще раз?

[longclaps]

DollyPapper, откуда "какой либо из уровней модели OSI" знает, что вы подразумеваете под строкой?
У вас питон2 или питон3?
Ниоткуда не знает.

[Сергей Горностаев]

DollyPapper, уровни модели - это абстракция, они ничего делать не могут. Когда вы передаёте данные в сокет, они проходят через код интерпретатора, код системных библиотек, код драйвера и код прошивки сетевого интерфейса. Ни один из них понятия не имеет что именно вы ему передаёте и не выполняет никаких преобразований, для низкоуровнего сетевого кода существует только один формат данных - байты. Как превращать ваши данные в байты можете знать только вы сами. Даже для того, чтобы преобразовать в последовательность байт обычную строку, необходимо знать её исходный формат, исходную кодировку и целевую кодировку, которую ожидает принимающая сторона.

[Лев]

Я использовал pickle, когда писал парсер большого (~50 Мб) текстовика. Текстовик долго, секунд 20 читался, парсился и превращался в словарь. Чтобы не читать текстовик при каждом пуске программы, я один раз сохранял получившийся словарь при помощи pickle.dump и загружал его pickle.load, это занимало полсекунды.

[DollyPapper]

longclaps, ну он же инкапсулирует данные для своих нужд?Потому что когда я писал свой первый сервер,я ничего о сериализации не знал,и слал строку просто в сокет.Без сериализации(по крайней мере явной).Она все равно доходила до адресата.
Питон 3

[Сергей Горностаев]

DollyPapper, инкапсуляция пакетов состоит в том, что к пакету на каждом уровне просто добавляется новый заголовок, без изменений данных.

[Anton Kuzmichev]

DollyPapper,

Но например при передачи через сеть,зачем нужно инкапсулировать строку в байты именно в моем скрипте?

Сериализатору совершенно всё равно, как вы будете использовать результат его работы. Выбор сериализатора - это ваш выбор. Тут показательным может быть пример из моего опыта: я при использовании celery отказался от дефолтного json в пользу pickle, потому что json не поддерживает много чего. Например, множества.

Разве какой либо из уровней модели OSI,не делает это?Или можно просто передать строку в сокет и он сам превратит ее в байтовую строку?И если я самовольно сериализую обьект перед передачей в сокет,он уже будучи в двоичном формате еще раз сереализуется каким либо уровнем модели OSI(говорю каким либо,потому что не знаю на каком этапе это происходит)?То есть проделает ту же работу еще раз?

Когда дело доходит до передачи данных по сети, будьте уверены, там все будет переведено в сырые байты, а на самых нижних уровнях OSI, физическом точно - до 0 и 1 (в оптическом или электрическом эквивалентах).
Насчёт конкретики - это можете покопаться в исходниках, благо они открыты. У меня такое ощущение, что вы озабочены тем, что компьютер выполняет "лишнюю" работу по конвертации данных, и хотите ему помочь. Похвально, но очень малоэффективно это в наше время. Я затрудняюсь сказать, сколькими десятками (сотнями?) уровней абстракции языка, интерпретатора, библиотек, операционной системы и её драйверов покрыт процесс, который вы инициируете, запуская requests.get('https://www.ya.ru/'), и если вы уберёте 1-2 из них - много ли изменится?

Answer 3

[Антон]

Как банальный пример: Попробуйте засунуть массив в БД, не раскидывая его ключи по своим полям.
Утрамбовали в сериализацию, записали в БД одной строкой, при надобности - достали, разсериализовали -> пользуемся

Answer 4

[Saboteur]

Например, вам нужно передать структуру данных на удаленный сервер.
Структура данных выглядит примерно так
struct {
int age=17;
string name="Vasya";
date birthday="01/01/2001"
}

На удаленный сервер мы собираемся передавать обычным HTTP запросом, в который в принципе можно зааттачить XML, а можно передать просто одной строкой прямо в заголовке. Для этого мы можем нашу структуру данных серилизовать в строку, передать туда, там распаковать и получить сразу структуру.
Разница в том, что мы на той стороне будем не "парсить" неизвестные данные, а именно десерилизовать.

Answer 5

[Alexej Simakov]

Потому что сокет понимает только потоки данных, поскольку основан на протоколе tcp/ip?