Как правильно записать большой массив данных в SQL базу данных?

Question

[LightSid]

Стоит задача импортировать данные из документа excel в базу данных.
База данных Postgesql

В документе может быть очень много строк (тысячи), каждая строка это запрос в базу данных.
Сейчас делаю запись в цикле, это очень долго и грузит сервер.

Подскажите пожалуйста как правильно реализовать запись в бд, чтоб для пользователя это было в фоне. Или как составить запрос чтоб записать сразу весь массив одним запросом?

Comments

[freeExec]

Копайте в сторону транзакций.

[YaRobot]

Много - десятки/сотни миллионов.
Нормально - сотни тысяч
Легко - сотни/тысячи

Бросайте пачками в фоне. Размер в соответствии с железом.

Для остального, не хватает подробностей о данных, реализации т.п.

Или на прямую, синхронизируйте.

Answer 1

[artemmityushov]

postgresql copy csv

Comments

[LightSid]

Это получается нужно сначала создать и сохранить на сервере документ CSV, а потом скопировать его?

[Владимир Скибин]

Сформируйте запрос вида
COPY "tablename" (<columns>) FROM 'path/to/csv';
И отправьте его на сервер, время выполнения должно уменьшиться
Либо используйте INSERT Multi-row

INSERT INTO "tablename" (<columns>) VALUES (<row1>), (<row2>);

[artemmityushov]

LightSid, да, создаете csv, а потом загружаете средствами самой субд, самый быстрый способ загрузки большого количества данных.

Answer 2

[Виктор Таран]

Если это выгрузка из БДто все просто, подключите excel к БД на прямую и работайте онлайн.
Дабы это может сдеать девочка с накрашенными ноктями через GUI.

По остальному нужно смореть что и как вы пишите, может это вся таблица может запрос может вся бд
односторонний обмен или двух, синхорон или асинхрон.
В общем тут что пальцем по воде.
Более подробно опишите ситуацию

Comments

[LightSid]

К сожалению это не постоянный обмен.
У разных пользователей могут быть разные данные и их нужно импортировать в базу.

[Константин Цветков]

Если это выгрузка из БД

А вопрос:

импортировать данные из документа excel в базу данных.