Как найти утечку памяти в node js?

Question

[Valeri Lavrov]

Решил освоить ноду, написал небольшой скрипт. После запуска уже через минуту хавает около 1.5гб ОЗУ.

var mysql = require('mysql');
var request = require('request');

var connection = mysql.createConnection({
  host     : 'localhost',
  user     : 'root',
  password : '',
  database : 'items'
});

function pars(){
var startTimer = new Date().getTime();
console.log('Парсим');
 request({
        url: "https://skinsjar.com/api/v3/load/bots",
        json: true,
        timeout: 3000,
    }, function (error, response, body) {
		var elapsed = new Date().getTime() - startTimer;
		console.log("Спарсили за: "+elapsed+" мс.");
		if (body.items.length > 1){
		for (index = 0; index < body.items.length; ++index) {
			var price = body.items[index].price; // цена
			var name = body.items[index].name; // наименование
			var updateItem = "UPDATE ?? SET ?? = ? WHERE ?? = ?"; // шаблон запроса
			var inserts = ['items','jar',price,'name',name]; // значения для запроса
			connection.query(updateItem, inserts); // обновляем цены
		}
		console.log("Обновлено "+index+" предметов");
		var elapsed = new Date().getTime() - startTimer;
		console.log("Время выполнения: "+elapsed+" мс.\n");
		} else {
			console.log("Сайт недоступен");
		}
    });
}

setInterval(pars, 4000);

Comments

[Илья Шатохин]

connection.query надо ставить либо в async.eachSeries, либо в цепочку промисов. Сейчас данный код по сути нерабочий. Это не утечка памяти, а ее лавинообразное потребление. Читайте про асинхронность.

Answer 1

[Виталий]

Ты вообщевидел какой объем данных там? Ты обновляешь построчно, никакой потоковой вставки, каждый запрос генеришь через асинзронную функцию, вот и получаешь 1000 запросов с своими замыканиями или я даже боюсь предположить сколько

Answer 2

[ArcadyZherdev]

Возможно вызовы функции "pars" каждые четыре секунды "наползают" друг на друга..
Я бы юзал setTimeout() и вызывал его в колбэке ..по завершении апдейта базы.

Comments

[Виталий]

да ты посмотри что там апи отдает а потом представь как синхронный фор вызывая асинхронный апдейт бд увеличивает стек приложения??? какой парс, у него внутри функции идет тотальный флуд бд + накачка стека

[ArcadyZherdev]

Ну это понятно ..флуд собсна и есть когда шлют слишком быстро и много. ))
Сборщик мусора не успевает очищать память от загруженных данных как уже очередной реквест подкидывает дровишек.

JSON большой, порядка 6Мб в строке, загружаем его 15 раз за минуту (60/4). В виде строки в респонзах он кушает приблизительно 15*6 = 90Мб. И это только текст. В виде распарсеного объекта он тоже память откушает.

Ну и кстати насколько я вижу в вашем скрипте база тоже на localhost. Возможно от бомбардировки её запросами она тоже решила поесть памяти. ))

[Valeri Lavrov]

ArcadyZherdev: БД как раз такие ест около 7-8мб диска. Но у меня хостинг на HDD. Полагаю, ему это не страшно