Как добиться поддержки кириллицы в Python3 flask + mysql?

Question

[York Princess]

Здравствуйте. При проектировании простейшего web api на Python3 столкнулся с проблемой:

• я использую flask
  
• я использую mariadb
  
• я делаю cursor.execute, потом cursor.fetchall
  
• я получаю result tuple в котором все кириллические символы заменены знаками вопроса
  
• соответственно flask.jsonify(result) тоже выдаёт json со знаками вопроса
  
• с латиницей и числами всё в порядке
  

Собственно вопрос в том, что с этим делать, и можно ли вообще что-то сделать? Или проще будет по быстрому переписать с красивого пайтона на что-то более страшное, но рабочее?

Comments

[Евгений]

Присоединяюсь к ответу Сергея — в первую очередь вам надо проверить настройки MySQL. В частности, что будет, если в командной строке mysql ввести тот же самый запрос.

[York Princess]

Евгений, в терминале все работает замечательно, это я сразу проверил

[pcdesign]

Покажите код, где вы соединяетесь с базой.

[York Princess]

pcdesign,

[pcdesign]

Princess_York, попробуйте вот так

db = pymysql.connect(host='localhost',
                             user='myuser',
                             passwd='welcome',
                             db='mydb',
                             charset='utf8')

Добавить в жесткую charset='utf8'

[York Princess]

pcdesign, вы можете оформить этот комментарий как ответ, я помечу его решением.

Однако возникла новая проблема:
После применения к этому функции jsonify получается вот такое

Я проверил неоднократно, именно функция jsonify поганит буквы. Причем он возвращает объект response, в котором есть свойство json, в котором все нормально хранится. Однако он возвращает клиенту свойство data в котором содержится то что я продемонстрировал выше.
Просто взять Rsponse.json нельзя потому что он имеет тип dict, а его flask клиенту отдавать не хочет.

[pcdesign]

Я вообще использую просто json, вот так

return json.dumps({"data": data}, ensure_ascii=False)

Но, если именно с jsonify хотите, то можно попробовать добавить строку
app.config['JSON_AS_ASCII'] = False

[York Princess]

pcdesign, спасибо огромное! Оба варианта действительно помогают, jsonify правда делает красивый JSON с отступами, поэтому воспользовался вторым вариантом. Сам бы я долго ковырялся, вы меня очень выручили! Это мой первый web-api, поэтому таких вещей не знаю. Так что спасибо вам за то что поделились ценным опытом.

[pcdesign]

Princess_York, в json тоже можно делать красивое форматирование.
Достаточно добавить:
return json.dumps({"data": data}, ensure_ascii=False, indent=4 * ' ')

Answer 1

[York Princess]

Решение было любезно предоставлено в комментариях пользователем pcdesign.
Чтобы из базы данных читалась нужная кодировка был использован следующий вариант метода pymysql.connect():

db = pymysql.connect(host='localhost',
                             user='myuser',
                             passwd='welcome',
                             db='mydb',
                             charset='utf8')

Это решило половину проблемы – теперь из базы всё читалось как надо, но flask отображал юникодовские символы просто выводя их код. Чтобы решить эту невзгоду был применен следующий подход:

app = Flask(__name__)
app.config['JSON_AS_ASCII'] = False

С этого момента flask.jsonify начал отдавать кириллические символы такими какие они есть.

Comments

[victos5546]

Спасибо огромное!!!

[domanskiy]

Огромное спасибо. У меня как-раз та же беда была.
На фласке реализован REST API, в JSON кириллицу отдавал как ASCII
Думал проблема с БД

Answer 2

[Сергей Горностаев]

Начать однозначно стоит с чтения Unicode HOWTO документации Python. И обязательно убедиться, что кодировка базы - UTF-8.

Comments

[York Princess]

Проверил кодировку базы, всё в порядке. Провал на стороне питона.

Answer 3

[Илья]

В документации написано то необходимо явно указывать кодировку. charset=utf8, пример ниже и документация.
# set client encoding to utf8; all strings come back as unicode

create_engine('mysql+mysqldb:///mydb?charset=utf8')

docs.sqlalchemy.org/en/latest/dialects/mysql.html#...