Как эффективно выполнить массовую вставку(импорт из excel) в postgres?

Question

[Дархан]

Есть функционал импорта из excel файла, юзер может скормить файл приличных размеров(от 10 до 25к записей)
Использую laravel-excel в джобе дабы распарсить файл и вставляю чанками по 1к(тык), затем формирую дополнительные данные и вставляю их чанками по 5к.
На продакшен окружении вывалилась ошибка

(Doctrine\\DBAL\\Driver\\PDO\\Exception(code: HY000): SQLSTATE[HY000]: General error: 7 no connection to the server at

Основная трудность(как мне кажется) в том, что в базе уже приличное количество элементов(от 6 млн записей) в каждой из таблиц, куда производятся большие insert-ы и присутствуют по 4-8 индексов.
Советы из статьи(тык) кажутся вовсе не реализуемыми в рамках SaaS проекта, ведь эти данные могут вставляться и пару раз на дню.
Куда копать? Как выполнять такие операции? Как одолеть экзепшен?(база не падала, судя по логам и работоспособности сайта)

Comments

[Дмитрий]

Основная трудность(как мне кажется) в том, что в базе уже приличное количество элементов(от 6 млн записей) в каждой из таблиц, куда производятся большие insert-ы и присутствуют по 4-8 индексов.

Ну а если попробовать запихать их во временную таблицу без всяких записей и индексов тоже свалится?

З.Ы. pgpool какой нибудь стоит?

[mayton2019]

Есть функционал импорта из excel файла, юзер может скормить файл приличных размеров(от 10 до 25к записей)

Вообще ниочем. Для базы это мало.

Основная трудность(как мне кажется) в том, что в базе уже приличное количество элементов(от 6 млн записей) в каждой из таблиц, куда производятся большие insert-ы и присутствуют по 4-8 индексов.

Не вижу трудностей. Ваша трудность должна быть подкреплена цифрами (грузится 12 часов к примеру и 2 раза за сутки не успеваем). Или ошибкой.

Вот эта ошибка

General error: 7 no connection to the server at

в чем ее природа? Дисконнект? Сеть мигнула? Это нормально. И в облачных самых надежных
технологиях сеть тоже мигает. Делают просто retry-логику с количеством повторов.

Если вас беспокоит нагрузка на 4-8 индексов - то грузите во временные таблицы. Staging tables которые будут
без индексов. И по факту упеха - копируйте в основные. Это - enterprise решение и это работает почти везде.

Answer 1

[ky0]

С десятками тысяч записей легко справится и COPY FROM из csv. Размер таблицы при инсертах на скорость вставки особо не влияет - это же не update.

Answer 2

[pLavrenov]

Зачем все эти 5к -10к, прошелся по файлу чанками по 1к (например), чанк перебрать через foreach и каждую запись в очередь. Там и времени и ресурсов для каждой записи предостаточно, мультипоточность и балансировка. А если база упадет или еще чего, все записи останутся в очереди и выполнятся как только смогут.