Почему в БД некорректно записываются кириллические строки?

Question

[ramazan]

Создание таблицы:
mysql> create table names (name text);
Python 2:

# -*- coding: utf-8 -*-
import MySQLdb

db = MySQLdb.connect('localhost', msql_user_name, msql_user_pass, 'vstat')
cursor = db.cursor()
insert = "INSERT INTO names (name) VALUES ('%s')" % 'абв'
cursor.execute(insert)
db.commit()
db.close()

mysql> SELECT * FROM names;
+--------------+
| name         |
+--------------+
| абв       |
+--------------+

При добавлении:

db.set_character_set('utf8')
cursor.execute('SET NAMES utf8;')
cursor.execute('SET CHARACTER SET utf8;')
cursor.execute('SET character_set_connection=utf8')

Вылетает ошибка:

Warning: Incorrect string value: '\xD0\xB0\xD0\xB1\xD0\xB2' for column 'name' at row 1
  cursor.execute(insert)

и вывод такой:

mysql> SELECT * FROM names;
+------+
| name |
+------+
| ???  |
+------+

Answer 1

[Роман]

Посмотри в какой кодировке сама таблица

SELECT CHARACTER_SET_NAME, COLLATION_NAME
FROM information_schema.columns
WHERE table_name =  'name'

И возможно в insert перед 'абв' имеет смысл попробовать поставить u

Comments

[ramazan]

mysql> SHOW VARIABLES LIKE 'char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |
| character_set_connection | utf8                       |
| character_set_database   | latin1                     |
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | latin1                     |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+

[Роман]

voiceofnoise: SHOW VARIABLES LIKE 'char%'; - это общие установки, в какой кодировке сама бд и таблица в которую пишешь данные. Выполни запрос который я дал. Общие установки не гарантия создания бд и таблиц в нужной кодировке по умолчанию, ее нужно указывать при создании. Если не указал сразу то надо менять доп. командами.

[ramazan]

mysql> SELECT CHARACTER_SET_NAME, COLLATION_NAME FROM information_schema.columns WHERE table_name = 'names';
+--------------------+-------------------+
| CHARACTER_SET_NAME | COLLATION_NAME |
+--------------------+-------------------+
| latin1 | latin1_swedish_ci |
+--------------------+-------------------+

[Роман]

Ну вот тебе и ответ, почему каракули пишет :). Тебе надо всю БД и таблицы перевести в utf. Загляни например вот сюда generaltea.ru/kak-pomenyat-kodirovku-vsex-tablic-v... здесь пример как это сделать.

[ramazan]

Исправил. Попробую вспомнить и описать.
Удалил базу целиком.
В my.cnf в секцию [client] добавил
default_character_set = utf8
В [mysqld]
character-set-server=utf8
collation-server=utf8_general_ci
Перезапустил mysql.
После этого должно быть так:
mysql> SHOW VARIABLES LIKE 'character%';
+--------------------------+----------------------------+
| Variable_name | Value |
+--------------------------+----------------------------+
| character_set_client | utf8 |
| character_set_connection | utf8 |
| character_set_database | utf8 |
| character_set_filesystem | binary |
| character_set_results | utf8 |
| character_set_server | utf8 |
| character_set_system | utf8 |
| character_sets_dir | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+

mysql> SHOW VARIABLES LIKE 'collation%';
+----------------------+-----------------+
| Variable_name | Value |
+----------------------+-----------------+
| collation_connection | utf8_general_ci |
| collation_database | utf8_general_ci |
| collation_server | utf8_general_ci |
+----------------------+-----------------+
Создаем базу и таблицу.
И проверяем
mysql> SELECT CHARACTER_SET_NAME, COLLATION_NAME FROM information_schema.columns WHERE table_name = 'vk_stat';
+--------------------+-----------------+
| CHARACTER_SET_NAME | COLLATION_NAME |
+--------------------+-----------------+
| utf8 | utf8_general_ci |
+--------------------+-----------------+
Подробней здесь gahcep.github.io/blog/2013/01/05/mysql-utf8
Вроде все. Спасибо.

[ramazan]

Чуть не забыл. В код нужно добавить
db.set_character_set('utf8')
где db = MySQLdb.connect(...)

Answer 2

[Rsa97]

Свойства CHARACTER SET у базы, таблицы, колонки.
Кодировка по умолчанию на сервере.
SET NAMES UTF8 после коннекта.

Comments

[ramazan]

mysql> SHOW VARIABLES LIKE 'char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |
| character_set_connection | utf8                       |
| character_set_database   | latin1                     |
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | latin1                     |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+

[Rsa97]

voiceofnoise:
character_set_database | latin1
character_set_server | latin1
Соответственно все базы, таблицы и колонки создаются по умолчанию в кодировке latin1.

Answer 3

[sim3x]

python 2

insert_query = u"INSERT INTO names (name) VALUES ('%s')"
cur.execute(insert_query, u'абв')

https://dev.mysql.com/doc/connector-python/en/conn...

Comments

[ramazan]

UnicodeEncodeError: 'latin-1' codec can't encode characters in position 0-2: ordinal not in range(256)

[sim3x]

voiceofnoise: весь стектрейс

Answer 4

[Вадим Шандринов]

Надо пересоздать базу:
CREATE DATABASE `##DATABASENAME##` /*!40100 DEFAULT CHARACTER SET utf8 */;