Как пробежаться по массиву и сделать Insert в бд?

Question

[qwentry]

Как пробежаться по массиву и все записать в БД?
Есть пример обычного перебора массива с выводом в консоль

package main

import "fmt"

type User struct {
  UserName string
  Category string
  Age      int
}

type Users []User

func (u Users) NameList() []string {
  var list []string
  for _, user := range u {
    list = append(list, user.UserName)
  }
  return list
}

func main() {
  users := Users{
    User{UserName: "Bryan", Category: "Human", Age: 33},
    User{UserName: "Jane", Category: "Rocker", Age: 25},
    User{UserName: "Nancy", Category: "Mother", Age: 40},
    User{UserName: "Chris", Category: "Dude", Age: 19},
    User{UserName: "Martha", Category: "Cook", Age: 52},
  }

  UserList := users.NameList()

  fmt.Println(UserList)
}

Можете на этом примере объяснить как все это insert в базу сделать?

psqlInfo := fmt.Sprintf("host=%s port=%d user=%s "+
    "password=%s dbname=%s sslmode=disable",
    host, port, user, password, dbname)
  db, err := sql.Open("postgres", psqlInfo)
  if err != nil {
    panic(err)
  }
  defer db.Close()

Подключение к базе знаю, так же банально как добавить\удалить\обновить и тд, но как с перебором данных массива не понимаю...

Можете направить? Или примером или на статью какую-то
Заранее спасибо

Answer 1

[Евгений Мамонов]

Если брать за основу ваш код - примерно так можно сделать

package main

import "fmt"

type User struct {
  UserName string
  Category string
  Age      int
}

func main() {

  users := []User{
    User{UserName: "Bryan", Category: "Human", Age: 33},
    User{UserName: "Jane", Category: "Rocker", Age: 25},
    User{UserName: "Nancy", Category: "Mother", Age: 40},
    User{UserName: "Chris", Category: "Dude", Age: 19},
    User{UserName: "Martha", Category: "Cook", Age: 52},
  }

  // подключаетесь к базе
  db, _ := sql.Open(...)
  defer db.Close()

  for _, user := range users {
      fmt.Println(user)
      // делаете запрос в базу
      db.Exec("INSERT INTO users (name, category, age) VALUES ($1, $2, $3)", user.UserName, user.Category, user.Age)
  }
}

Если данных для вставки в базу будет много - такой вариант будет тормозить, в этом случае лучше делать вставку в транзакции

tx, _ := db.Begin()  // начинаете транзакцию
for _, user := range users {
    fmt.Println(user)
    // делаете запрос в базу (тут уже не db, а tx.Exec)
    tx.Exec("INSERT INTO users (name, category, age) VALUES ($1, $2, $3)", user.UserName, user.Category, user.Age)
}
tx.Commit() // завершаете транзакцию, данные сохраняются в базе

Comments

[Евгений Мамонов]

Получилось?

[qwentry]

Евгений Мамонов, Да, все получилось, спасибо вам еще раз)
Сейчас отредактирую под свою структуру уже

[qwentry]

Евгений Мамонов, А что бы несколько запросов сделать, надо сделать несколько tx.Exec или в одном несколько запросов?
У меня массив такого вида примерно. Правильно ли я написал структуру?

package main
import(
	"database/sql"
	"fmt"

	_ "github.com/lib/pq"
)

const (
	host = "localhost"
	port = 5432 user = "postgres"
password = "2887"
dbname = "productdb"
)

type signer struct {
	lastname string
	firstname string
	surname string
	position string
}

type organization struct {
	title string
}

type category struct {
	type string
	desc string
}

type test struct{
	signer signer
	organization organization
	category category
	period_type string
	reporting_period string
	sign_date string
	created_date string
	report_url string
}

func main() {

users: = []test{
		test{
			signer: signer {
				lastname: "",
				firstname: "",
				surname: "",
				position: "",
			},
			organization: organization{
				title: "",
			},
			category: category{
				type: "",
				desc: "",
			},
			period_type: "",
			reporting_period: "",
			sign_date: "",
			created_date: "",
			report_url: "",
		},
		test{
			signer: signer {
				lastname: "",
				firstname: "",
				surname: "",
				position: "",
			},
			organization: organization{
				title: "",
			},
			category: category{
				type: "",
				desc: "",
			},
			period_type: "",
			reporting_period: "",
			sign_date: "",
			created_date: "",
			report_url: "",
		},
	}
}

// подключаетесь к базе
psqlInfo: = fmt.Sprintf("host=%s port=%d user=%s " +
"password=%s dbname=%s sslmode=disable",
host, port, user, password, dbname)
db, err: = sql.Open("postgres", psqlInfo)
if err != nil {
panic(err)
}
defer db.Close()

tx, _: = db.Begin() // начинаете транзакцию
for _, user: = range users {
fmt.Println(user)
// делаете запрос в базу (тут уже не db, а tx.Exec)
tx.Exec("INSERT INTO users (name, category, age) VALUES ($1, $2, $3)", user.UserName, user.Category, user.Age)
}
tx.Commit() // завершаете транзакцию, данные сохраняются в базе
}

[Евгений Мамонов]

> А что бы несколько запросов сделать, надо сделать несколько tx.Exec или в одном несколько запросов?
Можно делать и так и так, я делал benchmark'и и проверял, скорость вставки примерно одинаковая, но чтобы одним запросом делать вставку - для mysql нужно в подключении указывать опцию multiStatements=true иначе работать не будет, для postgres - нужно проверить, если не сработает - искать подобную опцию.
Если у вас не мега higload - можно не заморачиваться и делать просто внутри транзакции по одному Exec на запись, скорость вставки внутри транзакции очень высокая.

Как выглядит таблица в базе, в которую вставляете данные?

[qwentry]

Евгений Мамонов,
Таблиц несколько
Но в общем и целом они не громоздкие и все +- такие, если правильно понял вас

[Евгений Мамонов]

вы можете делать несколько Exec подряд, т.е. Exec для вставки в каждую таблицу будет отдельным.

for _, user := range users {
    _, err := tx.Exec(`INSERT INTO users (поля таблицы...) VALUES ($1, $2...)`)
    // если во время запрос произошла ошибка - транзакцию нужно откатить
    if err != nil {
        tx.Rollback()
        break
    }

    tx.Exec(`INSERT INTO user_categories (поля таблицы...) VALUES ($1, $2...)`)
}

Всё получилось или что-то еще не до конца понятно?

[qwentry]

Евгений Мамонов, Да, вот как раз собирался ответить, что все получилось)
С базой пока разбираюсь теперь.
Все данные отправляются)

[Евгений Мамонов]

отлично, рад помочь :)

[qwentry]

Евгений Мамонов, У меня снова вопрос и не понимаю от чего...
Все вроде прописал, сделал запросы, запустил - все отлично и данные записались в базу.
Переделал на основную базу, а не тестовую и все... в бд ничего не записалось (поменялось только название бд, таблицы и столбцы одинаковые по названию были).
Потом попробовал опять в тестовую бд... так и туда уже не записывается
Где я накосячил?
Подключение к БД есть

package main
import (
	"database/sql"
	"fmt"

	_ "github.com/lib/pq"
)

const (
	host     = "localhost"
	port     = 5432
	user     = "postgres"
	password = "1234"
	dbname   = "test"
)

type signer struct {
	lastname  string
	firstname string
	surname   string
	position  string
}

type organization struct {
	title string
}

type category struct {
	Type string
	desc string
}

type test struct {
	signer           signer
	organization     organization
	category         category
	period_type      string
	reporting_period string
	sign_date        string
	created_date     string
	report_url       string
}

func main() {
	tests := []test{
		test{
			signer: signer{
				lastname:  "Иванов",
				firstname: "Иван",
				surname:   "Иванович",
				position:  "Директор",
			},
			organization: organization{
				title: "ФГУП",
			},
			category: category{
				Type: "",
				desc: "",
			},
			period_type:      "",
			reporting_period: "",
			sign_date:        "",
			created_date:     "",
			report_url:       "",
		},
		test{
			signer: signer{
				lastname:  "Петров",
				firstname: "Петр",
				surname:   "Петрович",
				position:  "Зам. директора",
			},
			organization: organization{
				title: " ФГУП",
			},
			category: category{
				Type: "",
				desc: "",
			},
			period_type:      "",
			reporting_period: "",
			sign_date:        "",
			created_date:     "",
			report_url:       "",
		},
	}

	// подключаетесь к базе
	psqlInfo := fmt.Sprintf("host=%s port=%d user=%s "+
		"password=%s dbname=%s sslmode=disable",
		host, port, user, password, dbname)
	db, err := sql.Open("postgres", psqlInfo)
	if err != nil {
		panic(err)
	}
	defer db.Close()

	err = db.Ping()
	if err != nil{
		panic(err)
	}
	tx, _ := db.Begin() // начинаете транзакцию
	for _, test := range tests {
		fmt.Println(test)
		// делаете запрос в базу (тут уже не db, а tx.Exec)
		tx.Exec("INSERT INTO author (first_name, last_name, middle_name, position) VALUES ($1, $2, $3, $4)", test.signer.lastname, test.signer.firstname, test.signer.surname, test.signer.position)
		tx.Exec("INSERT INTO organization (name_organization) VALUES ($1)", test.organization.title)
	}
	tx.Commit() // завершаете транзакцию, данные сохраняются в базе
}

[Евгений Мамонов]

нужно увидеть сообщение об ошибке, оно 100% должно быть, добавьте обработку ошибок примерно так

_, err := tx.Exec("INSERT INTO author (first_name, last_name, middle_name, position) VALUES ($1, $2, $3, $4)", test.signer.lastname, test.signer.firstname, test.signer.surname, test.signer.position)
if err != nil {
    log.Prinf("Insert into author error: %v\n", err)
     tx.Rollback()
     break
}

_, err = tx.Exec("INSERT INTO organization (name_organization) VALUES ($1)", test.organization.title)
if err != nil {
    log.Prinf("Insert into author error: %v\n", err)
     tx.Rollback()
     break
}