Как решить проблему с кодировками в Python+MySQL?

Question

[Сергей Павлов]

Только начинаю осваиваться в вопросах БД, параллельно с сами MySQL изучаю ещё и библиотеку для python 2.7 - MySQLdb. Встал вопрос с записью русского текста в таблицу с помощью питона. В самой MySQL везде где можно поставил utf-8:

+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |
| character_set_connection | utf8                       |
| character_set_database   | utf8                       |
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | utf8                       |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+

Вот пример запроса на Python:

# -*- coding: utf-8 -*-
import MySQLdb
db=MySQLdb.connect(host='localhost',user='root',passwd='qwerty',db='new')
cursor=db.cursor()
name='миша'.encode('utf-8')
cursor.execute("INSERT INTO te(first,second) VALUES('%s','asda')",(name))

Скрипт отрабатывает с ошибкой:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xd0 in position 0: ordinal not in range(128)

Comments

[sim3x]

?

Answer 1

[Lorem Ipsum]

Я делал это вот так

# Если используется SQLAlchemy, то параметр кодировки можно вставить прямо в параметр
# подключения, например 
create_engine('postgresql+psycopg2://@localhost/test?charset=utf8')

# Если вы используете MySQLdb, то можно передать параметр charset и чтобы точно заработало
# еще и init_command. 
conn = MySQLdb.connect(charset='utf8', init_command='SET NAMES UTF8')

Comments

[sim3x]

проблема не в орм и не в мускуле

[Lorem Ipsum]

@sim3x ну, я выше привел 2 варианта, которые будут 100% работать. Я понимаю, что могут быть разные причины, начиная от ошибок в коде библиотеки, заканчивая особенностями ОС, но выше приведенный код меня никогда не подводил.

@sim3x кстати, я выложил код примера как вопрос ( Django — Как правильно использовать bulk_create? ), если у вас будет желание и время я бы не отказался от вашей помощи.

@boomburum @toster @habrahabr @deniskin Блин, такой неудобный редактор на toster, сделали бы как на стеке markdown и сделали бы хотя бы редактирование всего, что пишешь, потому что надоедает постоянное удаление сообщения, если что то забыл написать или решил исправить ошибку, да и ajax подгрузку как на стеке классно будет увидеть, особенно уведомления.

[sim3x]

@nobodynoone в том вопросе опять нет ключевых слов - скорость vs память vs регулярность
ну и тестировать на винде никто не будет

[Lorem Ipsum]

@sim3x вообще, память меня в том вопросе не сильно заботит, но все же, согласитесь, очень странное поведение со стороны Django ORM сжирать так много на простых задачах и при этом непонятно почему так много. Для меня главное скорость, потому что это решающий фактор, так как сейчас купить сервер с 16Гб озу не проблема.

Что касаемо WIndows, я лично пишу под Windows, но скрипт выполняется на Linux (я использую Vagrant), потому что Linux меня не устраивает во всем том, что я делаю помимо работы, на нем нету нужных мне инструментов, а те, что есть не в том виде, который я хочу видеть. Поэтому я использую Windows для написания (т.е. IDE стоит на Windows), но код выполняется на Linux через Vagrant... Linux штука хорошая для программирования в этой области, но во всем остальном, Linux не для меня, я не тот человек, который готов потратить пол дня, чтобы в Google Chrome нормально отображались шрифты на половине сайтов рунета, если вы понимаете о чем я :)

[Lorem Ipsum]

@sim3x но я зачастую запускаю все на Windows, потому что работает иногда даже быстрее... Например скрипт, который я выложил в том вопросе ест куда больше на Linux, чем на Windows. Фантастика ;D