Как установить правильную кодировку для ответа с сервера в Python 3?

Question

[ReaL_HarDCorE]

Здравствуйте. Пишу софтину на Python 3. Нужно сделать запрос к серверу, чтобы тот вернул обычный JSON. Работаю с кодировкой UTF-8. Эта кодировка указана везде: в конфиге сервера, в заголовке PHP-скрипта, в Python-скрипте (# -*- coding: utf-8 -*-), сами файлы скриптов тоже в UTF-8. Но при попытке раскодировать пришедший ответ из UTF-8, появляется ошибка:

[Decode error - output not utf-8]

А если раскодировать ответ кодировкой cp1251, то всё прекрасно работает. Мне интересно, откуда взялась эта кодировка?

Код на питоне:

from urllib.request import Request, urlopen
from urllib.parse import urlencode
import json

req = Request("http://devcave.ru/json.php")
response = urlopen(req)
data = response.read().decode('cp1251') # .decode('utf-8') вызывает ошибку, описанную выше 
data = json.loads(data)

print(response.headers.get_content_charset())
print(data)

Вывод кода на питоне:

utf-8
{'key': 'русский язык'}

PHP-код на сервере:

header('Content-Type: application/json;charset=utf-8');
echo json_encode(array('key' => 'русский язык'), JSON_UNESCAPED_UNICODE);

Решено:
На самом деле при декодировании строки вместо cp1251 можно и нужно было использовать utf-8 - при этом всё проходит без ошибок, что означат, что все кодировки везде настроены правильно.
Проблема была в функции print, которая отказывалась выводить раскодированную строку и становилась инициатором ошибки.
Последствия перехода с Python 2 на 3.
Спасибо всем, кто пытался помочь)

Answer 1

[Andrey Dugin]

В Python 2.7 работает и так, и так :)

>>> data = urlopen('http://devcave.ru/json.php').read()
>>> data.decode('utf-8')
u'{"key":"\\u0440\\u0443\\u0441\\u0441\\u043a\\u0438\\u0439 \\u044f\\u0437\\u044b\\u043a"}'
>>> data.decode('cp1251')
u'{"key":"\\u0440\\u0443\\u0441\\u0441\\u043a\\u0438\\u0439 \\u044f\\u0437\\u044b\\u043a"}'

Comments

[ReaL_HarDCorE]

Это хорошо, но мне бы для 3 питона решение.

[Andrey Dugin]

ReaL_HarDCorE: Простой тест с записью в файл (без декодинга) показывает, что файл получается в utf-8. Т.е. ничего делать не надо.

[Andrey Dugin]

ReaL_HarDCorE: Браузер тоже показывает "русский язык", если выставить кодировку страницы utf-8.

[ReaL_HarDCorE]

Андрей Дугин: я ещё поэксперементировал. Кажется, проблема не в кодировке, а парсере json'a - запись полученных данных в файл работает, браузер тоже корректный результат показывает. А вот парсер отказывается парсить получнные данные как JSON - говорит, что это не utf-8.

[Andrey Dugin]

ReaL_HarDCorE: Параметр в json.loads(): If ensure_ascii is True (the default), the output is guaranteed to have all incoming non-ASCII characters escaped. If ensure_ascii is False, these characters will be output as-is.

[ReaL_HarDCorE]

Андрей Дугин: я нашёл, в чём была проблема. Написал внизу самого вопроса. Спасибо, что пытались помочь)

Answer 2

[Максим Васильев]

Кодировку ответа с сервера нужно устанавливать на сервере.

Answer 3

[Andrey Kobyshev]

Походу сервер криво настроен. Apache? Нужно чтобы он не пытался в эту нелепую cp1251 перекодировать всё. Ну либо править на стороне скрипта - делать .decode('cp1251') для данных, которые вы от сервера получаете, если сервер не ваш, как вы уже и делаете. Это переведёт строку в unicode, с которой можно нормально дальше работать.

Короче, сервер врёт, что отдаёт utf-8. По факту он отдаёт вам cp1251. И Python вам об этом сообщил.