Почему вместо текста, я вижу набор символов, как исправить?

Question

[dlysenko1311]

Скачиваю CSV файл по апи таки образом:

var request = WebRequest.Create(url);
request.Method = "GET";

var webStream = request.GetResponse().GetResponseStream();
var reader = new System.IO.StreamReader(webStream);
var data = reader.ReadToEnd();

Console.Write(data);

Но, когда я делаю
Console.Write(data);

То вижу это:


в дальнейшем мне нужно обработать этот файл, но я не могу это сделать из-за того что файл нормально не читается
Как это исправить?

Answer 1

[Владимир Коротенко]

Смотрите хедеры как запроса так и ответа, на мой взгляд похоже что сервер отдает в сжатом виде gzip

Попробуйте рецепты из вот этого поста
https://stackoverflow.com/questions/839888/httpweb...

Comments

[Василий Банников]

На счёт gzip: хз как WebRequest, но HttpClient точно умеет с ним работать

[Владимир Коротенко]

Василий Банников, это предположение, не утверждение факта, но если идет мусор, то скорее всего где то что то пошло не так

[dlysenko1311]

Владимир Коротенко, мне кажется что, это не так, потому что аналогичный запрос на питоне:

response  = requests.get(url)
print(response.text)

выдает правильный результат

[Василий Банников]

dlysenko1311, но они не эквивалентные. Как минимум следует учитывать кодировку

[dlysenko1311]

Василий Банников, как ее указать в моем коде? как получить переменную с тектом csv файла?

var request = WebRequest.Create(url);
request.Method = "GET";

var webStream = request.GetResponse().GetResponseStream();
var reader = new System.IO.StreamReader(webStream);
var data = reader.ReadToEnd();

Console.Write(data);

[Владимир Коротенко]

request .AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate;

[Василий Банников]

dlysenko1311,
Попробуй для начала перейти на HttpClient.

Он и кодировки учитывает, и с gzip точно проблем не будет.

А в твоём коде кодировка указывается в StreamReader

[dlysenko1311]

Владимир Коротенко, Извиняюсь перед вами
сделал на питоне print(response.headers)
и получит в заголовке такие значения:
'Content-Encoding': 'gzip' и 'Content-Type': 'text/csv'

[dlysenko1311]

Владимир Коротенко, пожалуйтса, подскажите куда нужно это вставить:

request .AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate;

делаю так, но получаю ошибку:

[Владимир Коротенко]

dlysenko1311, по документации все правильно, какая версия проекта?
https://learn.microsoft.com/en-us/dotnet/api/syste...

[dlysenko1311]

Владимир Коротенко,

<supportedRuntime version="v4.0" sku=".NETFramework,Version=v4.7.2" />

[Владимир Коротенко]

dlysenko1311, ну вот и ответ в этой версии нет этого свойства.
Попробуйте по совету Василий Банников использовать HttpClient

[dlysenko1311]

Василий Банников, пишите это в ответы, я отмечу решением

"Попробуй для начала перейти на HttpClient.

Он и кодировки учитывает, и с gzip точно проблем не будет.

А в твоём коде кодировка указывается в StreamReader"

[Владимир Коротенко]

dlysenko1311, попробуйте на своем файле вот этот код

using System;
using System.Collections.Generic;
using System.Linq;
using System.Net;
using System.Net.Http;
using System.Security.Policy;
using System.Text;
using System.Threading.Tasks;

namespace ConsoleApp1
{
    internal class Program
    {
        static  void Main(string[] args)
        {
            var url = "https://www.stats.govt.nz/assets/Uploads/Annual-enterprise-survey/Annual-enterprise-survey-2021-financial-year-provisional/Download-data/annual-enterprise-survey-2021-financial-year-provisional-csv.csv";
            Test1(url);
            Test2(url).GetAwaiter().GetResult();
            
        }
        static void Test1(string url)
        {
            
            var request = WebRequest.Create(url);
            request.Method = "GET";

            var webStream = request.GetResponse().GetResponseStream();
            var reader = new System.IO.StreamReader(webStream);
            var data = reader.ReadToEnd();

            Console.Write(data);
        }
        static async Task Test2(string url)
        {


            var client = new HttpClient();
            var stream = await client.GetStreamAsync(url);
            var reader = new System.IO.StreamReader(stream);
            var data = reader.ReadToEnd();
            Console.Write(data);
        }
    }
}

[dlysenko1311]

Владимир Коротенко, да, этот код работает

[Владимир Коротенко]

dlysenko1311, и первый и второй методы выводят все правильно?

[dlysenko1311]

Владимир Коротенко, да, оба работают
Еще я попробоал вставить свою ссылку в переменную url, но в моей задаче результат не поменялся

[Владимир Коротенко]

dlysenko1311, в смысле? Я спрашивал выводится ли осмысленная информация именно на вашем адресе в обоих методах

[dlysenko1311]

Владимир Коротенко, а, я не понял изначально

на моем адресе ничего не изменилось, все как и прежде - символы непонятные

[Владимир Коротенко]

dlysenko1311, и в первом методе и во 2?

[dlysenko1311]

Владимир Коротенко, да, и в первом и во втором методах на моей ссылке одинаковый результат - символы непонятные

[Владимир Коротенко]

dlysenko1311, похоже что кривой сервер, скиньте ссылку, стало интересно

[dlysenko1311]

Владимир Коротенко, не могу ссылку кинать на открытой площадке, но можем в зуме созвониться, я покажу

Ссылка на зум встречу, если вам удобно сейчас, то подключайтесь
https://us05web.zoom.us/j/82979251371?pwd=dUNtbkcr...

Answer 2

[VoidVolker]

Открою маленький секрет: есть такая штука, как кодировка текста - пока не скажете машине в какой кодировке ваш текст, она не сможет правильно его отобразить. Поэтому вам для начала надо разобраться в какой кодировке приходит текст от сервера, затем при необходимости перекодировать текст, а уже только потом вывести в правильной кодировке или куда-то его сохранить.

Comments

[Владимир Коротенко]

не похоже символы не регулярные заметь это CSV файл по идее в нем должны быть запятые или табы, но их нет. Так что я склоняюсь к мысли о сжатии

[dlysenko1311]

VoidVolker, как ее указать в этом коде?

var request = WebRequest.Create(url);
request.Method = "GET";

var webStream = request.GetResponse().GetResponseStream();
var reader = new System.IO.StreamReader(webStream);
var data = reader.ReadToEnd();

Console.Write(data);

Я в C# новичек

[VoidVolker]

как ее указать в этом коде?

Прочитать в мануале: https://letmegooglethat.com/?q=C%23+console+codepa...

Answer 3

[Василий Банников]

Попробуй для начала перейти на HttpClient.

Он и кодировки учитывает, и с gzip точно проблем не будет.

А в твоём коде кодировка указывается в StreamReader.

PS:

<supportedRuntime version="v4.0" sku=".NETFramework,Version=v4.7.2" />

Обновись до NET 7 :)