Как сохранить записи в БД в цикле на node.js?

Question

[zifmezin]

Получаю массив данных. Есть задача - сохранить в базу mysql полученные значения. При этом поле в БД является уникальным, поэтому нужно пропускать дубликаты и сохранять следующие уникальные значения. Но никак не могу сладить с асинхронностью в циклах и промисами. Что я делаю не так?

let data = [['val1'], ['val2']];

const queryStart = (item) => {
    const sql = `INSERT INTO domain (domain) VALUES ${item}`;
    return new Promise((res, rej) => {
      connection.query(sql, (error, result) => {
        if(error.code == "ER_DUP_ENTRY") return rej(new Error('Такая запись уже есть'));
        return res(result);
      });
    });
}

for(var item for data) {
  queryStart(item).then(
    result => {
      console.log(result)
      process.exit();
    },
    error => {
      console.log(error)
      process.exit();
    }
  );
}

Comments

[Slava Rozhnev]

Отфоматируйте Ваш код пожалуйста. Используйте тэги для вставки кода

[zifmezin]

Slava Rozhnev, да, прошу прощения, не понял сначала как вставить, поправил

Answer 1

[Slava Rozhnev]

Во-первых в NodeJS, удалите дубликаты из массива.
Во-вторых на уровне базы данных объявите уникальные ключи.

И дапребудет с Вами ASCID

Comments

[zifmezin]

1) Массив у меня формируется всякий раз, когда я обращаюсь к скрипту. В рамках этого массива, я проверяю его на дубликаты. Но средствами js, то есть не обращаясь к БД для проверки на наличие элементов в БД перед их сохранением.
2) Да, ключ объявлен уникальным, поэтому при вставке я и проверяю на ошибку "ER_DUP_ENTRY"
3) Почитал про ASCID - примерно понимаю, о чем речь, но не до конца. У меня был вариант с сохранением в БД сразу всего массива:

connection.query(sql, [values], function(err) {
          if (err) throw err;
          conn.end();
      });

но я решил пойти через цикл, чтобы сохранять каждый элемент массива, а в случае ошибки на дубликат - просто пропускать его, без сохранения. Как это сделать в асинхронном js?

[Александр Карабанов]

При мало мальски приличной нагрузке база ляжет под потоком запросов которые присылают в цикле.
Слать запросы в базу в цикле не надо никогда.

[zifmezin]

Александр Карабанов, а как же тогда лучше реализовать сохранение полученного массива ключей в базу? Сразу массива? Если я правильно понимаю, в случае наличия в массиве дубля, весь запрос будет не успешным, а мне бы нужно все остальные сохранить, которые не являются дублями.

[Александр Карабанов]

Фильтровать дубли на уровне кода и писать в базу только уникальные строки одним запросом.

[Slava Rozhnev]

zifmezin, Для таких целей можно применить
INSERT IGNORE INTO <table_name> (...) VALUES (...)

или

INSERT INTO <table_name> (...) VALUES (...) ON DUPLICATE KEY UPDATE

[zifmezin]

Slava Rozhnev, Спасибо. INSERT IGNORE INTO в моем случае было очень кстати, работало как надо. Но в итоге я ушел от записи в БД из скрипта nodejs, а делаю это средствами фреймворка Yii2, получая от nodejs данные в json. Спасибо всем за подсказки