Существуют ли быстрые способы сериализации/десериализации объектов?

Question

[Смотритель]

Приветствую.

Существует "базовый" способ сериализации/десериализации объектов - JSON строка. Но он далеко не самый быстрый и с довольно большими объектами тратит немало ресурсов (в первую очередь временных).

Существует ли какой-то метод скоростной "упаковки/распаковки" объектов в бинарный вариант (к примеру), который был бы и "компактнее" и сам по себе алгоритм быстрее чем работа с JSON операндами?

ЗЫ. Сразу уточню - структура объектов неопределенная и длина любых полей/подполей/подподполей и т.д. абсолютно неизвестна, т.е. загнать в буфер блоки "поразрядно" в согласованном порядке следования не получится.

Answer 1

[Ihor Bratukh]

msgpack
bson

Comments

[Смотритель]

msgpack - там приведен бенч, он проигрывает по скорости JSON-у "из коробки"...
bson - пока не нашел сравнительных тестов, чтобы понять

спасибо =)

[Ihor Bratukh]

Артем, а что вы собрались парсить? На клиенте?

[Adamos]

Артем, вам нужен не сферический бенч в вакууме, а понимание, из-за чего именно тормозит сериализация ваших данных. И анализ возможных решений с точки зрения - решают они именно эту проблему или нет.

[Ihor Bratukh]

Артем, если на сервере, то пишите свой асинхронный парсер-аддон для ноды на C++ и выкидывайте в js api методы.

Answer 2

[Vladimir S]

Единственный вариант в текущих реалиях - найти более шустрый вариант "упаковка/распаковки" + уменьшить объем передаваемых данных...

тут два варианта - универсально и быстро, варианты в большинстве случаев не совместимые. поэтому
наиболее шустрый - это кастомный. и чем узконаправленнее и не универсальнее он будет, тем будет быстрее работать.

Comments

[Смотритель]

да я тоже думаю над кастомным решением, начал делать для проверки - по размерности получается существенно меньше JSON-ов... размерность только для строковых значений и ключей к сожалению, не меняются - но это в принципе ожидаемо...

накидаю для тех типов, которые летают по протоколу, попробую какие-нибудь бенчмарки сварганить на маленьких/средних/больших объектах для сравнения скорости упаковки/распаковки...

[Adamos]

Есть вариант, сочетающий "универсально" и "быстро".
Транспортный объект, который принимает тот, который нужно отправить, компактно раскидывает его значения по своим полям - и таки сериализуется в универсальный JSON.

[Смотритель]

Adamos, что за транспортный объект? и в каком смысле "таки JSON"?

[Adamos]

Артем, объект, работа которого - подготовить данные для транспортировки (сжать все, что можно). Просто когда вы пишете свой упаковщик в некий бинарный формат - это чревато ошибками, неоднозначностями, хреново расширяется и требует документирования. Объект, в который завернуты упаковка и распаковка, некоторые из этих проблем решает. А его упакованные структуры уже можно передать обычным JSON-ом.

Answer 3

[Виталий]

как вариант юзать новую версию ноды 12.9
с патчноут написано приятное:

Updated V8 to 7.6.303.29 (Michaël Zasso) #28955.
Improves the performance of various APIs such as JSON.parse and methods called on frozen arrays.