Почему появляются ошибки при вставке данных в таблицу MySQL внутри цикла?

Question

[Super User]

Пишу скрипт, который вытягивает ссылки со страницы, проходится по ним парсером и записывает данные в MySQL. Когда парсится одна станица все нормально, данные записываются. Как только засовываю все это дело в цикл, начинают сыпаться ошибки, вроде этой:

Сам код:

var request = require('sync-request');
var cheerio = require('cheerio');
var mysql = require('mysql');

var connection = mysql.createConnection({
    host: 'localhost',
    user: 'root',
    password: '',
    database: 'prsr'
});

var baseUrl = 'https://en.wikipedia.org';
var startUrl = 'https://en.wikipedia.org/wiki/Category:Video_games_with_3D_graphics';

var res = request('GET', startUrl);
var $ = cheerio.load(res.getBody());

$('#mw-pages').find('.mw-category-group').each(function (index) {    

    var fullUrl = baseUrl + $(this).find('a').attr('href');
    var data = parsePage(fullUrl);

    connection.query('INSERT INTO games SET ?', data, function (err, result) {
        if (err) throw err; // выкидывает ошибку здесь
        console.log(result.insertId);      
    });

});

Answer 1

[Владислав]

Судя по ошибке, MySql разрывает соединение по таймауту. Нужно проверить настройки MySql и увеличить максимальное время соединения.
Для настройки таймаута, есть несколько параметров:
connect_timeout
wait_timeout
interactive_timeout

Comments

[vovik0134]

Чем-то напомнило https://habrahabr.ru/post/277101/ . Возможно проблемы схожие.

Answer 2

[Дмитрий Воронков]

Дай mysql ошибку. Я не силен в js. Но по моему у тебя просто пустая строка. Ты не проверяешь на существование ссылке перед записью.
Может как-то так:

var request = require('sync-request');
var cheerio = require('cheerio');
var mysql = require('mysql');

var connection = mysql.createConnection({
    host: 'localhost',
    user: 'root',
    password: '',
    database: 'prsr'
});

var baseUrl = 'https://en.wikipedia.org';
var startUrl = 'https://en.wikipedia.org/wiki/Category:Video_games_with_3D_graphics';

var res = request('GET', startUrl);
var $ = cheerio.load(res.getBody());

$('#mw-pages').find('.mw-category-group').each(function (index) {    

    var fullUrl = baseUrl + $(this).find('a').attr('href');
    var data = parsePage(fullUrl);
    if (data) {
    connection.query('INSERT INTO games SET ?', data, function (err, result) {
        if (err) throw err; // выкидывает ошибку здесь
        console.log(result.insertId);      
}
    });

});