Что с кодировкой полученного контента?

Question

[WolfGangNock]

1. Отправляю XML-документ через POST запрос (протокол http) на один сервис - получаю ответ. Делаю парсинг и извлекаю данные с этого ответа.

var request = new HttpRequestMessage();
            // настройка параметров сообщения (headers, uri и т.л. не важно)
            var requestXmlBody = CreateAuthorizationXmlDocument(email, password);
            request.Content = new StringContent(requestXmlBody.OuterXml, Encoding.UTF8, "application/soap+xml");

            var client = new HttpClient();
            var response = await client.SendAsync(request);
            var responseStr = await response.Content.ReadAsStringAsync();

            var responseXml = new XmlDataDocument();
            responseXml.LoadXml(responseStr);

            MessageBox.Show(responseXml.OuterXml);

            var tokens = responseXml.GetElementsByTagName("token");

Это работает идеально, всё отлично. Пытаюсь по этому принципу отправить следующий запрос, который уже использует JSON.

var request = new HttpRequestMessage();
             // ...
            var requestJsonBody = CreateSomeFieldObtainingJsonDocument();
            request.Content = new StringContent(requestJsonBody.ToString(), Encoding.UTF8, "application/json");

            var client = new HttpClient();
            var response = await client.SendAsync(request);
            var responseStr = await response.Content.ReadAsStringAsync();

            MessageBox.Show(responseStr);

            var responseJson = (JObject)JsonConvert.DeserializeObject(responseStr);
            addressFields = responseJson["someField"];

            thisClassField= (string) responseJson.Property("someField").Value;

Проблема:
во втором случае получаю данные в непонятной кодировке, которое JObject не может пропарсить. Как отладчик Visual Studio, так и вывод данных через MessageBox показывают просто набор иероглифов. Хотя просматриваю отправленные и полученные пакеты через Fiddler - всё отлично. Получаю данные в формате UTF-8, которые Fiddler нормально считывает и которые имеют то самое поле, которое мне нужно. Как мне решить эту проблему?

Answer 1

[Александр Юдаков]

Если вы уверены, что там UTF-8, то меняем это:

var responseStr = await response.Content.ReadAsStringAsync();

на это:

var responseStr = Encoding.UTF8.GetString(await response.Content.ReadAsByteArrayAsync());

А по-хорошему, следует посмотреть, какая кодировка указана в заголовке Content-Type, ее и использовать (Fiddler как раз это и делает).

В любом случае, доверять задачу определения кодировок стандартным библиотекам считаю верхом наивности.

Comments

[WolfGangNock]

Хм, не помогло:

var response = await client.SendAsync(request);
var contentType = response.Content.Headers.ContentType;  // вернуло MediaTypeHeaderValue
MessageBox.Show(contentType.CharSet); // Решил посмотреть какая же всё-таки кодировка приходит и да, это UTF-8.
// неявно связать значение MediaTypeHeaderValue с Encoding не получилось, ибо его (значение типа контента) получаю в виде строки
// поэтому решил явно перебрать все кодировки, которые предлагает Intellisence
var responseStr = Encoding./* очередная кодировка */.GetString(await response.Content.ReadAsByteArrayAsync());

В итоге всё те же иероглифы, которые естественно изменяются в зависимости от выбраной кодировки.

[WolfGangNock]

Это наверное потому, что данные приходят в сжатом формате. Значение response.Content.Headers.ContentEncoding = gzip. То есть нужно их как-то распаковать.

[Александр Юдаков]

WolfGangNock, в таком случае нужно настроить автоматическую распаковку сжатого ответа:

https://stackoverflow.com/a/27327208/2558342

[WolfGangNock]

Александр Юдаков, уже сделал, спасибо)
Просто не знал, что пакеты могут упаковывать (хотя логично).

[WolfGangNock]

Александр Юдаков, классное решение скинули. Жаль я решил эту проблему придумыванием велосипеда :(