Как работать с огромными массивами данных?

Question

[Rouzi]

Хотелось бы узнать, какой максимальный размер данных можно присвоить переменным в js? Просто у меня есть файл json на 5 гигабайт и когда я пытаюсь его присвоить переменной - она не присваивается. Можно как-то решить эту проблему?

Answer 1

[VoidVolker]

Вероятно не хватает памяти. Используйте опцию max-old-space-size.
node --max-old-space-size=8192 index.js
Если оперативной памяти тоже недостаточно, то тут уже нужен потоковый JSON парсер: например stream-json.

Answer 2

[mayton2019]

В этой операции мало смысла. Расскажи что будешь дальше делать - и я подскажу как. Возможно тебе нужен Pandas.

Answer 3

[freeExec]

2Гб тогда