Prisma, как обновить множество данных без лимита по количеству соединений?

Question

[Виктор]

Приветствую.
Помогите разобраться с проблемой.
Мне необходимо обновить сохранить в базу большое количество данных с уникальным ключом. Соответственно, при совпадении ключа, пропустить или обновить данные (без разницы).
Бекенд на Nest.js и Prisma orm.
Т.к. данных слишком много (более 500 тыс. строк), я разбиваю их на массивы по 500 строк.
CreateMany в данном случае не подходит, т.к. если база будет содержать ключ из массива, то не сохранится весь массив.

В typeorm я бы просто использовал просто upsert, а вот prisma в upsert не умеет вставлять массивы.
Я пробую перебрать массив и вставить данные, но получаю ошибку по количеству соединений.

Timed out fetching a new connection from the connection pool. More info: pris.ly/d/connection-pool (Current connection pool timeout: 10, connection limit: 9)

При условии, что это один пользователь, а нужно, чтобы такие данные могли грузить множество пользователей.
Как правильно обновлять большое количество данных через Prisma ?
Мой код:

newArr?.map(async (arr) => {
				arr?.map(async (el) => {
					await this.prisma.payments.upsert({
						where: { transaction_id: el.transaction_id },
						create: el,
						update: el,
					});
				});        
      }),

Answer 1

[Yuriy Vorobyov]

Если идти таким путем, то лучше уже использовать for await of для последовательного помещения в БД

P.S. также ваш код с map не валиден, он не будет ждать, для map надо использовать Promise.all, что и является источником проблемы в данном случае

Comments

[Виктор]

Спасибо.
В таком варианте сработало.
Пришлось обернуть в функцию, чтобы не ждать ответа по вставке.

(async () => {
      for await (const arr of newArr) {
        for await (const el of arr) {
          try {
            await this.prisma.payments.upsert({
              where: { transaction_id: el.transaction_id },
              create: el,
              update: el,
            });
          } catch (error) {
            console.log({ error });
          }
        }
      }
    })();

[Yuriy Vorobyov]

А вообще можно же на конфликте сделать do nothing и поместить массив за раз, скипанув повторения ключей

Вроде как Prisma умеет в такое

https://www.prisma.io/docs/reference/api-reference...

Answer 2

[mayton2019]

Ну ты можешь в качестве ключа использовать UUID. Так делают в распределенных системах когда много генераторов данных и все друг о друге не знают и не синхронизируются.

Или можешь сам с собой договориться что каждому продюсеру данных дается диапазон. Для первого будет от 0 до 500 000 и для второго 500 001 до 1 000 000 и так далее.

Есть генераторы основанные на текущем времени и мак-адресе хоста. Да много чего можно придумать.

Игры в upsert или retry логикой могут заблокировать джобы надолго. Они могут кружиться в вальсе вместе
постоянно наступая на конфликты. И это трудно пофиксить.