Какие самые используемые варианты записи в Postgresql большого массива данных?

Question

[Makcimka]

Есть схема

module.exports = function (sequelize) {
	return sequelize.define("test", {

		id_item: {
			primaryKey: true,
			unique: true,
			type: Sequelize.STRING,
			allowNull: false
		},
		data: {
			type: Sequelize.STRING,
			allowNull: false
		},
                url: {
			type: Sequelize.STRING,
			allowNull: false
		},
                publishedAt: {
			type: Sequelize.STRING,
			allowNull: false
		},

а вот что надо сохранить

const response = [
{
id_item: "123",
data: "jhlkj",
url: "http:localhost1",
publishedAt: "01. 02. 1996"
},
id_item: "124",
data: "sfdrfg",
url: "http:localhost2",
publishedAt: "04. 05. 1991"
},
{...200 000 items}
]

Comments

[Mikhail Osher]

Большого объема.. Ладно бы там 200 миллиардов записей, а тут всего 200 тысяч. Просто создайте таблицу с нужными колонками, и индексами, по которым поиск будет.

[Алексей Уколов]

Mikhail Osher, вроде, тут вопрос про оптимизацию разовой вставки этих 200 000 значений.

[Makcimka]

Mikhail Osher, это понятно, меня интересует как эти 200 000 сохранить, то есть, есть варианты сохранения данных не используя цикл?

[Mikhail Osher]

Алексей Уколов, я поэтому нажал жалобу и попросил уточнить. Вопрос звучит как "не знаю как грузить в таблицу 200к записей" без уточнения конкретных деталей.

[asmelnik]

Самый быстрый способ вставить много в PostgreSQL
https://www.postgresql.org/docs/current/sql-copy.html
Там есть STDIN
Вот и ищите чем он вашем случае может быть вызван.
Пишете туда в цикле...

[Everything_is_not_so_bad]

Справился?

Answer 1

[Everything_is_not_so_bad]

1. Необходимо создать таблицу с нужными колонками (int, date/datetime, varchar, JSONB и т.д.).
2. Добавить необходимые индексы для поиска по полям.
3. Записывать по 1000 записей за один запрос. И так в цикле, 200 раз (или сколько нужно).

Добавлено
Можно распараллелить записи для большей скорости.

Comments

[Makcimka]

а как называется метод когда 1000 записей можно вставить одним запросом?

[Everything_is_not_so_bad]

Есть множество различных ORM и не могу знать где как называется. Поищи: batch insert <твоя ORM>
https://www.postgresqltutorial.com/postgresql-tuto...