Как избежать переполнение памяти в куче?

Question

[jtag]

Использую setInterval, внутри которого происходит выборка из sqlite и запись в mysql. т.е. копирование из базы в базу. Через 20 мин сервер прерывается, уведомляя heap out of memory. Как этого избежать?

setInterval(function () {

   }, 10000);

Comments

[Kovalsky]

Лучше дайте код, может у вас там где-то вполне себе очевидная утечка.

[jtag]

Никита Полевой,

con.query("SELECT * FROM person", function (err, rowsFromMysql) {
            if (rowsFromMysql === undefined || rowsFromMysql.length == 0) {
                console.log("table person is empty");
                db.all("SELECT * FROM person", function (err, rowsFromSqlite) {
                    rowsFromSqlite.forEach(function (rowFromSqlite) {
                        con.query("INSERT INTO `person` (`id`, `st`, `sch`, `iin`, `kl`, `d_end`, `d_pln`, `tel`, `telegram_id`, `doc`, `lat`, `dat`) VALUES ('" + rowFromSqlite.id + "', '" + rowFromSqlite.st + "', '" + rowFromSqlite.sch + "', '" + rowFromSqlite.iin + "','" + rowFromSqlite.kl + "', '" + rowFromSqlite.d_end + "', '" + rowFromSqlite.d_pln + "', '" + rowFromSqlite.tel + "', '','" + rowFromSqlite.doc + "', '" + rowFromSqlite.lat.replace(/\'/g, "") + "', '" + rowFromSqlite.dat + "')");

                    })
                })
            } else {
                console.log("table 'person' is not empty");
                db.all("SELECT * from person", function (err, rowsFromSqlite) {
                    con.query("SELECT * FROM person ORDER BY id DESC LIMIT 1", function (err, rowsFromMysql) {
                        rowsFromSqlite.forEach(function (rowFromSqlite) {
                            if (rowFromSqlite.id > rowsFromMysql[0].id) {
                                con.query("INSERT INTO `person` (`id`, `st`, `sch`, `iin`, `kl`, `d_end`, `d_pln`, `tel`, `telegram_id`, `doc`, `lat`, `dat`) VALUES ('" + rowFromSqlite.id + "', '" + rowFromSqlite.st + "', '" + rowFromSqlite.sch + "', '" + rowFromSqlite.iin + "','" + rowFromSqlite.kl + "', '" + rowFromSqlite.d_end + "', '" + rowFromSqlite.d_pln + "', '" + rowFromSqlite.tel + "', '','" + rowFromSqlite.doc + "', '" + rowFromSqlite.lat.replace(/\'/g, "") + "', '" + rowFromSqlite.dat + "')");
                                console.log("Added one person!");
                            }
                        })
                    })
                });
            }
        });

[DTX]

jtag_, что за магия такая? В чем смысл этого кода?

[jtag]

DTX, это что то типа callback hell

[DTX]

jtag_, нет, я про одинаковые запросы и про странности вида

con.query("SELECT * FROM person ORDER BY id DESC LIMIT 1", function (err, rowsFromMysql) {
                        rowsFromSqlite.forEach(function (rowFromSqlite) {
                            if (rowFromSqlite.id > rowsFromMysql[0].id) {
                                con.query("INSERT INTO `person` (`id`, `st`, `sch`, `iin`, `kl`, `d_end`, `d_pln`, `tel`, `telegram_id`, `doc`, `lat`, `dat`) VALUES ('" + rowFromSqlite.id + "', '" + rowFromSqlite.st + "', '" + rowFromSqlite.sch + "', '" + rowFromSqlite.iin + "','" + rowFromSqlite.kl + "', '" + rowFromSqlite.d_end + "', '" + rowFromSqlite.d_pln + "', '" + rowFromSqlite.tel + "', '','" + rowFromSqlite.doc + "', '" + rowFromSqlite.lat.replace(/\'/g, "") + "', '" + rowFromSqlite.dat + "')");
                                console.log("Added one person!");
                            }
                        })
                    })

И вопрос про смысл кода так и остался неотвеченным

[jtag]

DTX, Происходит запрос mysql, max значения id, после этого происходит перебор всех строк и поиск существует ли поле с id из sqlite большее чем в mysql, если да, то добавляет новую запись в mysql.

[jtag]

Никита Полевой, я вот разобрался вчера в чем ошибка, таковой то ее не было. set interval создавал запросы в бд гораздо быстрее чем отрабатывались эти запросы, таким образом память процесса nodejs доходила до 1,5 gb и рушилось. А бывало что одинаковые insert'ы успевали уйти и пытались вставить одну строку несколько раз в таблицу с уникальны полем и вылетала ошибка.

[Kovalsky]

jtag_, звучит вроде бы логично, но вообще это немного странно, что база обрабатывает запрос дольше 10 секунд. Хорошо, что решили проблему.

[jtag]

Никита Полевой, да, это странно, потому как я делал вставку insert в цикле, по одной строке. После сделал вставку одним большим запросом, и время вставки таблицы уменьшилось с 8 мин до 2 сек.

[Kovalsky]

jtag_, конечно, на выполнение запроса существуют некоторые накладные расходы, один запрос лучше чем много. Я просто в код не смотрел, упустил этот момент.

[jtag]

Никита Полевой, Еще не совсем понятен момент, один большой запрос, это обязательно одна транзакция?

[Kovalsky]

jtag_, у меня не хватит опыта, чтобы ответить вам определенно; думаю что любой одиночный запрос оборачивается в транзакцию, но подозреваю что это зависит от движка. Об этом можно почитать в документации к используемому движку или на SO например, 1, 2, 3.

Answer 1

[Александр Аксентьев]

выборка из sqlite и запись в mysql. т.е. копирование из базы в базу.

сделайте дамп и импортните, там же синтаксис одинаковый. Хрень делаете какую-то.

Сам придумал проблему, сам героически её пытаюсь решить.

Comments

[jtag]

мне нужна прога которая постоянно будет синхронизировать mysql в зависимости от sqlite.

[Kovalsky]

jtag_, подозреваю эта прога называется cron

[jtag]

Никита Полевой, я бы использовал cron, но нужно выбрать не все столбцы из sqlite и также две таблицы должны соединится в одну.