Python: работа с кодировками?

Question

[fogersp]

Доброго времени суток!

Питоном пользуюсь редко, но возникла необходимость запустить простенькую REST API, чтобы забирать с сервера данные.
Так вот, практически каждый раз когда я использую Python для чего-либо, у меня возникают проблемы с кодировками. В данном случае - KOI8-R.
Дело в том, что на серваке откуда забираем данные - база в KOI8-R. Как на питоне правильно конвертировать из KOI8-R в UTF-8? Например, я забирают такие данные в json: {'data': [{'fio': 'é×ÁÎÏ× áÌÅËÓÁÎÄÒ ÷ÌÁÄÉÍÉÒÏ×ÉÞ', 'id': 23232, 'login': 'puhlik'}]} или в raw fio = "\u00eb\u00cf\u00da\u00cc\u00d1\u00ce\u00cb\u00cf \u00f2\u00cf\u00cd\u00c1\u00ce \u00e9\u00cf\u00d3\u00c9\u00c6\u00cf\u00d7\u00c9\u00de"
Как мне обработать fio, чтобы получить нормальное "Иванов Александр Владимирович" в utf-8. Пробовал encode и decode - ничего не получается.

#!/usr/bin/env python3

from flask import Flask, request, jsonify
from flask_restful import Resource, Api
from sqlalchemy import create_engine
from json import dumps

db_connect = create_engine('mysql://root:passwd@localhost/my_database', encoding='koi8-r')
app = Flask(__name__)
api = Api(app)

class Users(Resource):
    def get(self, user_id):
        conn = db_connect.connect()
        query = conn.execute("SELECT id, login, fio FROM user WHERE id=%d "  %int(user_id))
        result = {'data': [dict(zip(tuple (query.keys()), i)) for i in query.cursor]}
        return jsonify(result)

api.add_resource(Users, '/users/<int:user_id>')

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=8088, threaded=True, debug=True)

Клиент:

from urllib import request
import json
from sys import argv

with request.urlopen("http://server.ru:8088/users/{0}".format(argv[1])) as url:
    data = json.loads(url.read().decode())
    print(data['data'][0]['fio'])

Comments

[sim3x]

Как получается жсон?

[fogersp]

sim3x, Вот этот простой пример построения rest api я нашел на просторах интернета и немного переделал под себя:

#!/usr/bin/env python3

from flask import Flask, request, jsonify
from flask_restful import Resource, Api
from sqlalchemy import create_engine
from json import dumps

db_connect = create_engine('mysql://root:passwd@localhost/my_database', encoding='koi8-r')
app = Flask(__name__)
api = Api(app)

class Users(Resource):
    def get(self, user_id):
        conn = db_connect.connect()
        query = conn.execute("SELECT id, login, fio FROM user WHERE id=%d "  %int(user_id))
        result = {'data': [dict(zip(tuple (query.keys()), i)) for i in query.cursor]}
        return jsonify(result)

api.add_resource(Users, '/users/<int:user_id>')

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=8088, threaded=True, debug=True)

[sim3x]

fogersp, так вы формируете жсон или забираете его?

[fogersp]

sim3x, кусок кода - это на сервере, который формирует по запросу json. а на своем компе я хочу забрать json оттуда.

from urllib import request
import json
from sys import argv

with request.urlopen("http://server.ru:8088/users/{0}".format(argv[1])) as url:
    data = json.loads(url.read())
    print(data['data'][0]['fio'])

[sim3x]

fogersp,

docs.python-requests.org/en/master

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
>>> r.status_code
200
>>> r.headers['content-type']
'application/json; charset=utf8'
>>> r.encoding
'utf-8'
>>> r.text
u'{"type":"User"...'
>>> r.json()
{u'private_gists': 419, u'total_private_repos': 77, ...}

проверьте, что за кодировка вам приходит

Проверьте кодировку на своем сервере - скорее всего ошибка у вас там

[fogersp]

sim3x, да даже банально если сделать запрос в базу, все тоже самое. Без json и прочего. Просто запросить строку из таблицы в koi8-r и привести ее в utf. Как это делается на Питоне? В linux для этого используется iconv, в php тоже есть iconv (iconv('charsetA', 'charsetB', $string)), все просто и понятно конвертируется. Как здесь поступить?

[sim3x]

fogersp,print(result)покажите

[fogersp]

sim3x,

{'data': [{'id': 23232, 'login': 'puhlik', 'fio': 'ëÏÚÌÑÎËÏ òÏÍÁÎ éÏÓÉÆÏ×ÉÞ'}]}

[sim3x]

fogersp,
покажите тоже самое без encoding='koi8-r'

У меня есть подозрение, что у вас субд в одной кодировке, а туда пишутся данные в другой

[fogersp]

sim3x,
Либо просто без json:

from sqlalchemy import create_engine
db_connect = create_engine('mysql://root:pwd@localhost/dbname', encoding='koi8-r')

user_id = 36200

conn = db_connect.connect()
query = conn.execute("SELECT id, login, fio FROM user WHERE id=%d "  %int(user_id))

for i in query.cursor:
    print(i)

>>> (36200, 'login', 'ëÁÊ åËÁÔÅÒÉÎÁ îÉËÏÌÁÅ×ÎÁ')

[fogersp]

sim3x, без определения кодировки:

{'data': [{'fio': 'ëÏÚÌÑÎËÏ òÏÍÁÎ éÏÓÉÆÏ×ÉÞ', 'login': 'puhlik', 'id': 23232}]}

[sim3x]

fogersp,

CP1252->KOI8-R

У меня есть подозрение, что у вас субд в одной кодировке, а туда пишутся данные в другой

делайте дамп бд и превращайте в нормальную с утф

[fogersp]

sim3x, эмм. Базу данных биллинга с десятками тысяч пользователей? как то инстинкт самосохранения говорит что лучше не делать такое) даже с дампами проблем ограсти можно

[sim3x]

fogersp,
Тогда наймите профи, после предупреждения и правки сторонних приложений, которые настроены на неправильную кодировку

[fogersp]

sim3x, Подскажите, а bytestring как можно конвертнуть в Питоне?

b'\xeb\xcf\xda\xcc\xd1\xce\xcb\xcf \xf2\xcf\xcd\xc1\xce \xe9\xcf\xd3\xc9\xc6\xcf\xd7\xc9\xde'

[fogersp]

sim3x, Все. Родил как конвертнуть. encode('latin1').decode('koi8-r'). Получается база в latin1 а данные писались в koi8-r. Вы правильно предположили. Спасибо.

Answer 1

[fogersp]

Решено. Оказалось база в latin1, а данные писались в koi8-r
encode('latin1').decode('koi8-r')