Как в Golang записывать в MySql Unicode?

Question

[Юлия Коваленко]

У меня есть структура данных в go.
Я делаю json.Marshal(data), а затем пытаюсь записать эту строчку в MySql.
Делаю это так:

data_json, err := json.Marshal(data)

db, err := sql.Open("mysql", ...)

stmt, err := db.Prepare("INSERT INTO my_table (data) VALUES (?)")

res, err = stmt.Exec(data_json)

Кодировка таблицы utf8_unicode_ci.

Какой-то символ в строке ломает это всё, и я получаю ошибку:

Error 1366: Incorrect string value: '\xF0\x9F\x8E\x81 \xD0...' for column 'data' at row 1

Как мне удалить/заменить такие символы в строке data_json?

Answer 1

[Юлия Коваленко]

Проблема в emoji. Некоторые из них кодируются 4 битами.

Нашла 2 решения.

1ое:

ALTER TABLE my_table MODIFY data LONGTEXT CHARACTER SET utf8mb4;

2ое:

func RemoveEmoji(str string) string {
    var emojiiPattern = "[\\x{1f004}\\x{1f0cf}\\x{1f170}\\x{1f171}\\x{1f17e}\\x{1f17f}\\x{1f18e}\\x{1f191}-\\x{1f19a}\\x{1f201}\\x{1f202}\\x{1f21a}\\x{1f22f}\\x{1f232}-\\x{1f23a}\\x{1f250}\\x{1f251}\\x{1f300}-\\x{1f321}\\x{1f324}-\\x{1f393}\\x{1f396}\\x{1f397}\\x{1f399}-\\x{1f39b}\\x{1f39e}-\\x{1f3f0}\\x{1f3f3}-\\x{1f3f5}\\x{1f3f7}-\\x{1f4fd}\\x{1f4ff}-\\x{1f53d}\\x{1f549}-\\x{1f54e}\\x{1f550}-\\x{1f567}\\x{1f56f}\\x{1f570}\\x{1f573}-\\x{1f579}\\x{1f587}\\x{1f58a}-\\x{1f58d}\\x{1f590}\\x{1f595}\\x{1f596}\\x{1f5a5}\\x{1f5a8}\\x{1f5b1}\\x{1f5b2}\\x{1f5bc}\\x{1f5c2}-\\x{1f5c4}\\x{1f5d1}-\\x{1f5d3}\\x{1f5dc}-\\x{1f5de}\\x{1f5e1}\\x{1f5e3}\\x{1f5ef}\\x{1f5f3}\\x{1f5fa}-\\x{1f64f}\\x{1f680}-\\x{1f6c5}\\x{1f6cb}-\\x{1f6d0}\\x{1f6e0}-\\x{1f6e5}\\x{1f6e9}\\x{1f6eb}\\x{1f6ec}\\x{1f6f0}\\x{1f6f3}\\x{1f910}-\\x{1f918}\\x{1f980}-\\x{1f984}\\x{1f9c0}]|\\x{1f1e6}[\\x{1f1e8}-\\x{1f1ec}\\x{1f1ee}\\x{1f1f1}\\x{1f1f2}\\x{1f1f4}\\x{1f1f6}-\\x{1f1fa}\\x{1f1fc}\\x{1f1fd}\\x{1f1ff}]|\\x{1f1e7}[\\x{1f1e6}\\x{1f1e7}\\x{1f1e9}-\\x{1f1ef}\\x{1f1f1}-\\x{1f1f4}\\x{1f1f6}-\\x{1f1f9}\\x{1f1fb}\\x{1f1fc}\\x{1f1fe}\\x{1f1ff}]|\\x{1f1e8}[\\x{1f1e6}\\x{1f1e8}\\x{1f1e9}\\x{1f1eb}-\\x{1f1ee}\\x{1f1f0}-\\x{1f1f5}\\x{1f1f7}\\x{1f1fa}-\\x{1f1ff}]|\\x{1f1e9}[\\x{1f1ea}\\x{1f1ec}\\x{1f1ef}\\x{1f1f0}\\x{1f1f2}\\x{1f1f4}\\x{1f1ff}]|\\x{1f1ea}[\\x{1f1e6}\\x{1f1e8}\\x{1f1ea}\\x{1f1ec}\\x{1f1ed}\\x{1f1f7}-\\x{1f1fa}]|\\x{1f1eb}[\\x{1f1ee}-\\x{1f1f0}\\x{1f1f2}\\x{1f1f4}\\x{1f1f7}]|\\x{1f1ec}[\\x{1f1e6}\\x{1f1e7}\\x{1f1e9}-\\x{1f1ee}\\x{1f1f1}-\\x{1f1f3}\\x{1f1f5}-\\x{1f1fa}\\x{1f1fc}\\x{1f1fe}]|\\x{1f1ed}[\\x{1f1f0}\\x{1f1f2}\\x{1f1f3}\\x{1f1f7}\\x{1f1f9}\\x{1f1fa}]|\\x{1f1ee}[\\x{1f1e8}-\\x{1f1ea}\\x{1f1f1}-\\x{1f1f4}\\x{1f1f6}-\\x{1f1f9}]|\\x{1f1ef}[\\x{1f1ea}\\x{1f1f2}\\x{1f1f4}\\x{1f1f5}]|\\x{1f1f0}[\\x{1f1ea}\\x{1f1ec}-\\x{1f1ee}\\x{1f1f2}\\x{1f1f3}\\x{1f1f5}\\x{1f1f7}\\x{1f1fc}\\x{1f1fe}\\x{1f1ff}]|\\x{1f1f1}[\\x{1f1e6}-\\x{1f1e8}\\x{1f1ee}\\x{1f1f0}\\x{1f1f7}-\\x{1f1fb}\\x{1f1fe}]|\\x{1f1f2}[\\x{1f1e6}\\x{1f1e8}-\\x{1f1ed}\\x{1f1f0}-\\x{1f1ff}]|\\x{1f1f3}[\\x{1f1e6}\\x{1f1e8}\\x{1f1ea}-\\x{1f1ec}\\x{1f1ee}\\x{1f1f1}\\x{1f1f4}\\x{1f1f5}\\x{1f1f7}\\x{1f1fa}\\x{1f1ff}]|\\x{1f1f4}\\x{1f1f2}|\\x{1f1f5}[\\x{1f1e6}\\x{1f1ea}-\\x{1f1ed}\\x{1f1f0}-\\x{1f1f3}\\x{1f1f7}-\\x{1f1f9}\\x{1f1fc}\\x{1f1fe}]|\\x{1f1f6}\\x{1f1e6}|\\x{1f1f7}[\\x{1f1ea}\\x{1f1f4}\\x{1f1f8}\\x{1f1fa}\\x{1f1fc}]|\\x{1f1f8}[\\x{1f1e6}-\\x{1f1ea}\\x{1f1ec}-\\x{1f1f4}\\x{1f1f7}-\\x{1f1f9}\\x{1f1fb}\\x{1f1fd}-\\x{1f1ff}]|\\x{1f1f9}[\\x{1f1e6}\\x{1f1e8}\\x{1f1e9}\\x{1f1eb}-\\x{1f1ed}\\x{1f1ef}-\\x{1f1f4}\\x{1f1f7}\\x{1f1f9}\\x{1f1fb}\\x{1f1fc}\\x{1f1ff}]|\\x{1f1fa}[\\x{1f1e6}\\x{1f1ec}\\x{1f1f2}\\x{1f1f8}\\x{1f1fe}\\x{1f1ff}]|\\x{1f1fb}[\\x{1f1e6}\\x{1f1e8}\\x{1f1ea}\\x{1f1ec}\\x{1f1ee}\\x{1f1f3}\\x{1f1fa}]|\\x{1f1fc}[\\x{1f1eb}\\x{1f1f8}]|\\x{1f1fd}\\x{1f1f0}|\\x{1f1fe}[\\x{1f1ea}\\x{1f1f9}]|\\x{1f1ff}[\\x{1f1e6}\\x{1f1f2}\\x{1f1fc}]";
    var emojiRx = regexp.MustCompile(emojiiPattern)
    return emojiRx.ReplaceAllString(str, `[emoji]`)
}

Но это слишком долго работает.

Answer 2

[RidgeA]

не уверен, но может быть из-за того, что data_json это []byte

Comments

[Юлия Коваленко]

res, err = stmt.Exec(string(data_json)) так пробовала.
Ещё пробовала

sql := "INSERT INTO my_table (data) VALUES (%s)"
db.Query(fmt.Sprintf(sql, data_json))

Тоже самое.

[RidgeA]

Базу создал так

CREATE SCHEMA test
  DEFAULT CHARACTER SET utf8
  DEFAULT COLLATE utf8_unicode_ci;

USE test;

create table test (
  id INT PRIMARY KEY AUTO_INCREMENT,
  `data` VARCHAR(256)
) CHARACTER SET utf8;

select * from test.test

вот код

package main

import (
	"fmt"
	"net/http"
	"database/sql"
	_ "github.com/go-sql-driver/mysql"
	"encoding/json"
)

func main() {
	var db *sql.DB
	var err error
	var stmt *sql.Stmt
	var res sql.Result
	var str = struct {
		Hello string `json:"hello"`
	}{"world"}
	var data, _ = json.Marshal(str)

	if db, err = sql.Open("mysql", "root:root@/test"); err != nil {
		panic(err)
	}

	if stmt, err = db.Prepare("INSERT INTO test (data) VALUES (?)"); err != nil {
		panic(err)
	}

	if res, err = stmt.Exec(data); err != nil {
		panic(err)
	}

	fmt.Printf("%v", res)
}

все записало

[RidgeA]

Возможно причина в том, что база сама не в utf8, т. к. collation это не то же самое что и кодировка

Collation - это набор правил сравнения, но это не означает, что строки в БД хранятся в какой-то определенной кодировке.
https://dev.mysql.com/doc/refman/5.7/en/charset-ge...

[Юлия Коваленко]

RidgeA: слово "world" и у меня запишет) я не это спрашивала

[RidgeA]

да, согласен, мой косяк

но я заменил

var str = struct {
    Hello string `json:"hello"`
  }{"world"}

на

var str = struct {
		Hello string `json:"hello"`
	}{"привет"}

и результат тот же - все работает.

Покажите хотя бы что должно попасть в БД и

show create DATABASE ...
show create table ...

[Юлия Коваленко]

RidgeA: и слово привет тоже запишется нормально... Прочитайте ответ к вопросу.

[RidgeA]

Да, откуда я мог знать, что там эмоджи :-)
Может имеет смысл использовать BLOB, если это возможно ?

[Юлия Коваленко]

RidgeA: мне подошло решение просто сменить кодировку на utf8mb4)