@Rouzi

Как работать с огромными массивами данных?

Хотелось бы узнать, какой максимальный размер данных можно присвоить переменным в js? Просто у меня есть файл json на 5 гигабайт и когда я пытаюсь его присвоить переменной - она не присваивается. Можно как-то решить эту проблему?
  • Вопрос задан
  • 148 просмотров
Решения вопроса 1
VoidVolker
@VoidVolker
Dark side eye. А у нас печеньки! А у вас?
Вероятно не хватает памяти. Используйте опцию max-old-space-size.
node --max-old-space-size=8192 index.js
Если оперативной памяти тоже недостаточно, то тут уже нужен потоковый JSON парсер: например stream-json.
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 2
mayton2019
@mayton2019
Bigdata Engineer
В этой операции мало смысла. Расскажи что будешь дальше делать - и я подскажу как. Возможно тебе нужен Pandas.
Ответ написан
Комментировать
freeExec
@freeExec
Участник OpenStreetMap
2Гб тогда
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы