Возникает ошибка outOfMemory, как исправить?

Question

[dlysenko1311]

Написал скрипт, который делает запрос к апи, потом скачивает и обрабатывает файл, который содержит данные за определенный промежуток времени. Если я в параметры ссылки передаю большое промежуток времени, то получаю ошибку: outOfMemory
Как это можно исправить?

Сам скрипт выглядит так:

// создаем переменные
string baseurl = Variables.baseurl;
string start_date = Variables.startdate;
string OAuth = Variables.OAuth;
string ids = Variables.ids;
string end_date = DateTime.Today.ToString("yyyy-MM-dd");
string url = $"{baseurl}application_id={ids}&date_since={start_date}&date_until={end_date}";



// делаем запрос к апи
var request = WebRequest.Create(url);
request.Method = "GET";
request.Headers.Add("Authorization", OAuth);
var response = (HttpWebResponse)request.GetResponse();
var ResponseStatusCode = (int)response.StatusCode;
var webStream = request.GetResponse().GetResponseStream();
var reader = new System.IO.StreamReader(webStream);


// получаю перемнную data 
var data = reader.ReadToEnd();  // здесь и происходит ошибка так как, если я скачиваю файл за большой промежуток времени, то в файле может быть больше 10 млн строк. 



// обрабатываю скаченный файл и отдаю в Output0Buffer строки
var jobject = JObject.Parse(data)["data"];
foreach (var obj in jobject)
{
    
    Output0Buffer.AddRow();
    Output0Buffer.eventdatetime = (DateTime)obj["event_datetime"]; 
    Output0Buffer.eventname = (string)obj["event_name"];
    Output0Buffer.appmetricadeviceid = (string)obj["appmetrica_device_id"].ToString();
    Output0Buffer.city = (string)obj["city"];
    Output0Buffer.devicetype = (string)obj["device_type"];
 }

сама ошибка выглядит так:

Answer 1

[Sergey]

Читать построчно, как в примере из документации

Comments

[dlysenko1311]

Я сделал так

// делаем запрос к апи
            var request = WebRequest.Create(url);
            request.Method = "GET";
            request.Headers.Add("Authorization", OAuth);
            var response = (HttpWebResponse)request.GetResponse();
            var ResponseStatusCode = (int)response.StatusCode;
            var webStream = request.GetResponse().GetResponseStream();
            var reader = new System.IO.StreamReader(webStream);


            // получаю перемнную data 
            //var data = reader.ReadToEnd();  // предполагаю, что здесь и происходит ошибка так как, если я скачиваю файл за большой промежуток времени, то в файле может быть больше 10 млн строк. 
            
            using (StreamReader sr = new StreamReader(reader.ReadToEnd()))
            {
                string line;
                // Read and display lines from the file until the end of
                // the file is reached.
                while ((line = sr.ReadLine()) != null)
                {
                    Console.WriteLine(line);
                }
            }

Но все равно получаю ошибку:


Что я делаю не так?

[Sergey]

... 
var webStream = request.GetResponse().GetResponseStream();
            
            using (StreamReader sr = new System.IO.StreamReader(webStream) )
            {
                string line;
                // Read and display lines from the file until the end of
                // the file is reached.
                while ((line = sr.ReadLine()) != null)
                {
                    Console.WriteLine(line);
                }
            }

[dlysenko1311]

Sergey, спасибо