Как сохранить json без сериализации в ноде?

Question

[Алексей]

Каким способом можно избежать накладных расходов на сериализацию json'а при сохранении, например, в файл. Т.е. есть большой объект, и нужно его полностью сохранить, причем без разницы в какой базе или каким способом, главное, чтобы текущий процесс ноды, который работает с этим объектом, не впал в ступор от JSON.stringify. Как такого можно добиться? И есть ли такая технология, которая позволяет большие объекты моментально сливать другому процессу?

Comments

[sim3x]

Что такое большой?
С какой ошибкой падает код?

[Алексей]

sim3x, порядка миллиона свойств, если суммарно. Про ошибку вообще не понял, где о ней вообще речь в вопросе ?

[Александр Таратин]

Алексей, Вместо одного объекта с лямом свойств сделайте лям маленький объектов и храните в нормальном key-value хранилище.

[Алексей]

Александр Таратин, это не вариант, нужен способ сохранить весь объект разом, если б можно было отдельно хранить свойства, то такого вопроса и не возникло бы. Возможно это и была ошибка архитектуры, но вопрос сейчас не в этом.

[Александр Таратин]

Алексей,
Можно сделать поточный сериализатор, который запишет в первую строку { в последнюю }
А сами свойства будет писать в стиле

for (let prop in largeObject){
    const propValue = largeObject[prop];
    writeToSomeTarget(`"${prop}": ${JSON.stringify(propValue)},`); 
    await new Promise(resolve => setImmediate(resolve));//эту строку не нужно каждую итерацию вставлять, чекните экспериментально приемлемую для вас частоту вызова
}

[sim3x]

Алексей,

Про ошибку вообще не понял, где о ней вообще речь в вопросе ?

не впал в ступор от JSON.stringify.

[RidgeA]

откуда берется json ?

[rustler2000]

sim3x, там наверное ещё и циклические ссылки, оттого и "ступор" whatever that means

[Алексей]

sim3x, ступор секунд на 15, избавиться надо именно от этого.
RidgeA, он полностью в памяти сидит, при старте загружается из файла.

[RidgeA]

Алексей,
https://nodejs.org/dist/latest-v10.x/docs/api/fs.h...