Как лучше реализовать транзакцию?

Question

[someoneyoudunno]

Есть таблица, куда надо сохранять информацию о фотографиях. Написал такой код, можете посмотреть? Или лучше сохранять по одной фотографии, но мне кажется это слишком затратно и лучше на транзакциях.

func (db *Requests) StorePhotos(photos []Photo) error {
	tx, err := db.Begin()

	if err != nil {
		return err
	}
	for _, photo := range photos {
		ctx, cancel := context.WithTimeout(context.Background(), time.Minute*2)
		stmnt, err := tx.PrepareContext(ctx, "INSERT INTO photos (id, owner_id, req_id, url) VALUES ($1, $2, $3, $4)")

		if err != nil {
			cancel()
			return err
		}

		_, err = stmnt.Exec(photo.ID, photo.OwnerID, photo.ReqID, photo.URL)

		if err != nil {
			cancel()
			return err
		}

		cancel()
	}
	tx.Commit()

}

Comments

[Дмитрий Беляев]

INSERT умеет вставлять за раз множество строк, так что все можно собрать в 1 запрос.
Транзакции нужны для атомарного изменения данных в нескольких местах, с возможностью отката всей транзакции, если что-то пойдет не так.
Большинство реляционных БД и так внутри себя создает транзакцию на каждый запрос, который меняет данные.

[someoneyoudunno]

Дмитрий Беляев, а как собрать запрос если у меня плейсхолдеры?

[galaxy]

someoneyoudunno, postgres, судя по синтаксису? Тогда быстрее всего вообще будет COPY, если драйвер БД его умеет.
А собрать ваш запрос тоже ничего сложного: формируете строку

INSERT INTO photos (id, owner_id, req_id, url) VALUES
($1, $2, $3, $4),
($5, $6, $7, $8),
...

дальше - Exec со всеми параметрами (не знаю Go и не могу сказать, можно ли их в массив объединить)

Answer 1

[Andrey Tsvetkov]

В целом всё выглядит не плохо, но будет лучше, если контекст будем принимать на вход. Так же было не плохо отменять транзакцию в случае ошибки, ну и закрывать prepare тоже не помешает. На каждую итерацию цикла вовсе не обязательно содавать свой собственный prepare, достаточно одного

func (db *Requests) StorePhotos(ctx context.Context, photos []Photo) error {
	ctx, cancel := context.WithTimeout(ctx, time.Minute*2)
	defer cancel()

	tx, err := db.BeginTx(ctx, nil)
	if err != nil {
		return err
	}
	defer tx.Rollback()

	stmnt, err := tx.PrepareContext(ctx, "INSERT INTO photos (id, owner_id, req_id, url) VALUES ($1, $2, $3, $4)")
	if err != nil {
		return err
	}
	defer stmnt.Close()

	for _, photo := range photos {
		if _, err = stmnt.ExecContext(ctx, photo.ID, photo.OwnerID, photo.ReqID, photo.URL); err != nil {
			return err
		}
	}

	return tx.Commit()
}

Comments

[Andrey Tsvetkov]

из ответов выше предлагается сделать что-то типа такого

insertValues := make([]interface{}, 0, len(photos)*4)
insertQuery := "INSERT INTO photos (id, owner_id, req_id, url) VALUES "
for i, photo := range photos {
	if i != 0 {
		insertQuery += ","
	}
	n := i * 4
	insertValues = append(insertValues, photo.ID, photo.OwnerID, photo.ReqID, photo.URL)
	insertQuery += fmt.Sprintf("($%d, $%d, $%d, $%d)", n, n+1, n+2, n+3)
}

if _, err := tx.Exec(insertQuery, insertValues...); err != nil {
	return err
}

как по мне, так это такой себе вариант, так как выглядит не очень очевидным и придётся этот момент откомментировать. Плюс каждый раз новые запросы, новый план в постгресе. В общем смотрите сами, как больше нравится)

[someoneyoudunno]

Спасибо, а можно как-то проверить существование запроса в транзакции? Я думаю, что из-за апи фотографии попадают в массив ещё раз и конфликтуют с ошибкой о уникальности ключа url. Я пока что сделал ON CONFLICT DO NOTHING в конце так как сейчас всё устраивает по количеству фото.

[Andrey Tsvetkov]

Кажется я не совсем понял вопрос. Но вроде как в ON CONFLICT DO NOTHING нет ничего предосудительного

[Артем Маркович]

А defer tx.Rollback разве не ругнется на то что транзакция уже закрыта в случае успешного комита ? Я думаю правильнее вызывать Rollback явно в блоке с ошибкой

[Andrey Tsvetkov]

Артем Маркович, не ругнётся. В данном случае явность вызова Rollback будет засорять код, к тому же в этом нет никакого смысла

Answer 2

[rPman]

insert into table (x,y,z) values (?,?,?), (?,?,?), (?,?,?), ...

а значения передавай как обычно сразу все, массивом, в правильном порядке