Как получить ответ от сервера в читабельной кодировке (utf-8)?

Question

[LakeForest]

В логах text отображается нормально, но при транспортировке почему-то приходит юникод.

print(json.loads(response.content)) - помог избавиться только от такой записи:

b'"{\\n \\"text\\": \\"\\\\u0441\\\\u0430\\\\u043b\\\\u044e\\\\u0442

print(json.loads(json.loads(response.content))) - очень странная запись для расшифровки. Как передать сразу нормальный ответ?

Поему мой сервис выдает такой ответ, когда в логах пишет в нормальной кодировке?

Answer 1

[Александр Нестеров]

Попробуйте response.content.decode("utf-8")

Comments

[LakeForest]

Ответ с response.content.decode("utf-8"):

"{\n \"text\": \"\\u0441\\u0430\\u043b\\u044e\\u0442

[Александр Нестеров]

LakeForest, для уточнения после декодирования вы прогоняете ответ через json.loads?
И можете скинуть чуть больше кода, чтобы было проще ориентироваться?

[LakeForest]

AlexNest,

response = requests.post(
        "http://localhost:8557/api/v1/test", json=data)
    print("Получен ответ:")
    print(json.loads(json.loads(response.content))) #норм
    print(response.content.decode("utf-8")) #"{\n \"text\": \"\\u0441\\u0430...

[Александр Нестеров]

LakeForest,

print(json.loads(response.content)) - помог избавиться только от такой записи:
b'"{\\n \\"text\\": \\"\\\\u0441\\\\u0430\\\\u043b\\\\u044e\\\\u0442

b'' это бинарная строка, ее нужно кодировать в utf-8.
Из того куска, что вы скинули (выше) таким методом:

import json
json_var = b'{\n \"text\": \"\\u0441\\u0430\\u043b\\u044e\\u0442"}'.decode("UTF-8")
print(json.loads(json_var))

удалось получить:

{'text': 'салют'}

[Александр Нестеров]

LakeForest,
Как я уже писал сообщением выше - response.content.decode("utf-8") нужно потом обернуть в json.loads()

response = requests.post(
        "http://localhost:8557/api/v1/test", json=data)
    print("Получен ответ:")
    json_var = response.content.decode("utf-8")
    print(json.loads(json_var))

Answer 2

[rPman]

Сервер на python? формируешь json с помощью json.dumps? добавь опцию ensure_ascii=False и кодируй строку в utf8

json.dumps("Привет!", ensure_ascii=False).encode('utf8')

p.s. если там php то добавь в json_encode опцию JSON_UNESCAPED_UNICODE

Comments

[LakeForest]

на питоне, сервис на grpc. просто в класс ответа прописываю: `return Response(text=text)`.
Попробовал: `return Response(text=json.dumps(text, ensure_ascii=False).encode('utf8'))`.
Тоже самое... Юникод возвращает клиенту.

[rPman]

LakeForest, не понял, ты сначала просто возвращал text теперь его в json завернул...
у тебя изначально где text формируется там и смотри

[LakeForest]

rPman, не понимаю как отправить текст в нужной кодировке, где нужно декодировать... Я же текст передаю в поле. str не имеет атрибута encode.
На gateway сервисе приходится делать такую штуку и только тогда все разворачивает:
print(json.loads(MessageToJson(response)))

Answer 3

[shurshur]

\uXXXX - это вполне валидные с точки зрения json unicode-символы. Модуль json делает их по умолчанию, чтобы не делал, надо json.dump/json.dumps передавать параметр ensure_ascii=False:

>>> print(json.dumps(["Превед!"]))
["\u041f\u0440\u0435\u0432\u0435\u0434!"]
>>> print(json.dumps(["Превед!"], ensure_ascii=False))
["Превед!"]