Как исправить проблемы Unicode при записи в БД MySQL?

Question

[Алексей Андрианов]

Добрый вечер.

Бьюсь который час над проблемой:

...
        DB = MySQLdb.connect(host="localhost", user="root", passwd="123", db="123", charset='utf8')
...
        Cursor = DB.cursor()
        delimiter = ';'
        csv_data = codecs.open('tmp/' + item, 'rb', encoding='utf-8')
        next(csv_data)
        for line in csv_data:
            print line
            row = line.split(delimiter)
            print row
            Cursor.execute('INSERT INTO cdr(device_id, connection_date_time, call_duration, call_disconnection_cause, \
            call_information, a_ip, a_type, a_name, a_number, a_mod_number, b_ip, b_type, b_name, b_number, b_mod_number, \
            incoming_date_time, disconnection_date_time, SMS) VALUES("%s", "%s", "%s", "%s", "%s", "%s", "%s", "%s", "%s", \
            "%s", "%s", "%s", "%s", "%s", "%s", "%s", "%s", "%s")', row)
            DB.commit()

Получаю в ответ:
Traceback (most recent call last):
File "C:/Users/�������/PycharmProjects/untitled/download_files.py", line 109, in
"%s", "%s", "%s", "%s", "%s", "%s", "%s", "%s", "%s")', row)
File "H:\Developer\python2\lib\site-packages\MySQLdb\cursors.py", line 205, in execute
self.errorhandler(self, exc, value)
File "H:\Developer\python2\lib\site-packages\MySQLdb\connections.py", line 36, in defaulterrorhandler
raise errorclass, errorvalue
_mysql_exceptions.OperationalError: (1366, "Incorrect string value: '\\xD0\\x9C\\xD0\\xB0\\xD1\\x88...' for column 'a_name' at row 1")

Собственно вопрос - как это победить?

Comments

[Алексей Андрианов]

Странно но не работает даже элементарное:

# -*- coding: utf-8 -*-
import MySQLdb

DB = MySQLdb.connect(host="localhost", user="root", passwd="123", db="123", charset='utf8', use_unicode=True)
Cursor = DB.cursor()
sql = u'INSERT INTO cdr(device_id, connection_date_time, call_duration) VALUES(%s, %s, %s)'
text = (u"Один", u"Два", u"Три")
Cursor.execute(sql, text)
DB.commit()
DB.close()

Answer 1

[Евгений]

Поставить таблице правильную кодировку, записывать в правильной кодировке. *Правильная кодировка это utf-8

Comments

[Алексей Андрианов]

Таблица: utf8 / utf8_general_ci/

У меня везде получается utf-8

[Евгений]

значит то что вы туда пишите не utf8

[Алексей Андрианов]

В том то и дело что читаю я файл
csv_data = codecs.open('tmp/' + item, 'rb', encoding='utf-8')
как utf-8 и даже в
for line in csv_data:
print line
получаю нормальную кодировку.

Answer 2

[Валентин]

Скорей всего косяк в редакторе, в котором пишешь. Принудительно поставьте кодировку utf-8 в нем

Comments

[Алексей Андрианов]

Ощущение что бага где то в на сыке мускула и pythonа

[Валентин]

еще попробуйте уберите u перед кавычками в Один Два Три

[Алексей Андрианов]

Пробовал, результат тот же.