Казалось бы простой цикл, но как его правильно реализовать?

Question

[nikotin77]

Всем привет!
Всю голову уже себе сломал, может кто подскажет.
Есть следующий код, передающий суть проблемы:

var body = "";
for(var i=0; i<=5000; i++) {
  body += "if(str==='value" + i + "') 1==1;\n";
}
body += "return str;";

var f1 = new Function("str", body);
var f2 = new Function("str", body);

console.log(f1('test1'));
console.log(f2('test2'));

// main loop
for(var i=0; i<100000; i++) {
  f1("string");
  f2("string");
  console.log(i);
}
console.log("fin!");

Мой результат работы программы:

test1
test2
1
2
3
.
.
~1971

Цель- выполнить в цикле две функции f1 и f2 100000 раз.
Да, функции большие по объему.
У меня этот цикл прерывается на примерно 2000 итерации (плюс-минус).
Почему прерывается выяснить удалось - Out of memory.
Вопрос в том как так построить код, чтобы не нарваться на OOM.
Моя версия NodeJS 5.0.0, win7, 4 Гб памяти.

Comments

[Дмитрий Беляев]

странный код какой-то если честно... полезной функциональности не несет вообще
а что Вы пытаетесь сделать?

[nikotin77]

Дмитрий Беляев: пытаюсь проверить 100000 строк на 10000 условий. Данный код только иллюстрирует проблему.

[amatory10]

у меня вообще складывается ощущение что такой код надо переписывать, под более адекватный в плане скорости язык, вот информация к сведению: https://doc.rust-lang.org/stable/book/rust-inside-...

[Дмитрий Беляев]

nikotin77: данный скрипт блокирующий, event loop не обрабатывается, соответственно сборка мусора не происходит
попробуйте запускать node с флагом --expose-gc
и в цикл добавить if(i % 1000 === 0) gc();

[nikotin77]

amatory10: спасибо конечно, но это не выход

[nikotin77]

Дмитрий Беляев: к сожалению влиять на ключи запуска нет возможности. Можно ли инициировать сборку мусора другим способом?

[amatory10]

nikotin77: а можно узнать с какой целью был создан столь тяжеловесный код? Так как от него компьютер зависает будь здоров.

[Дмитрий Беляев]

nikotin77: можно, позвольте event loop обрабатывать периодически события, реализовав свой цикл в асинхронной манере через setImmediate

setImmediate(function looper(i) {
  f1("string");
  f2("string");
  console.log(i);
  if(i < 100000) setImmediate(looper, i + 1);
}, 0);

[Дмитрий Беляев]

nikotin77: так же можно прерывать обработку не каждую итерацию, а например раз в 200 итераций, так скрипт отработает быстрее:

if(i < 100000) i % 200 ? looper(i + 1) : setImmediate(looper, i + 1);

[amatory10]

Дмитрий Беляев: а насколько быстрее? Данный скрипт вообще запускать невозможно, ускорять что-то имеет смысл, когда это по-крайней мере может отработать до конца.

[nikotin77]

Дмитрий Беляев: спасибо, буду пробовать

Answer 1

[yeti357]

setImmediate пробуйте. setImmediate положит переданную в него функцию в очередь выполнения eventloop. т.е. Каждая из этих ф-ций вызовется в один из следующих тактов, когда будет удобно. Смысл в том, что ваши 100к функций распределяться по времени и по тактам, а не будут выполняться в одном такте, намертво заблокируя весь eventloop, не позволяя вызвать любую асинхронную функцию(ответ от бд, запрос на сервер и тд).