Что делать если массив в переменной, забирает много ОЗУ?

Question

[Hanry654]

Есть массив данных

const array = [
    {
        a: "test", 
        b: "test", 
        c: "test", 
    }
    // ... 6200 elements
]

Он забирает больше 4гб памьяти, слышал про node --max-old-space-size=32000 dist/index.js, но все равно не вариант, так как массив может достигать до 20к+ елементов, можно ли как-то оптимизировать подобное?
(Данные из массива юзаются все время)

Comments

[Lynn «Кофеман»]

Я не верю что массив таких объектов занимает 4 гига. Очевидно ваши объекты поразвесистей.

Так что показывайте реальный пример.

[WbICHA]

Lynn «Кофеман», да даже не таких, там каждый объект должен по 500-1000 кб занимать.

Answer 1

[Hanry654]

Я читал файл через без указания кодировки

fs.readFile(path.join(__dirname, '..', '..', 'test.txt'))

И записывал строки в массив в качестве буффера, как только я добавил указание кодировки, проблема исправилась

fs.readFile(path.join(__dirname, '..', '..', 'test.txt'), 'utf-8')

Answer 2

[pfg21]

эффективная оптимизация больших объемов данных сделана в базах данных ?? их сейчас на любой вкус и цвет...
зачем изобретать свой велосипед когда все давно накатано.