Как использовать Task для парсинга каталога в C#?

Question

[FairyFox5700]

У меня есть каталог товаров в интернете.
Я хочу записать данные в базу данных , но без потоков это занимает более 2 часов.
На сайте есть марки авто, далее если перейти на страницу, нажав на название марки, будет несколько моделей, а в моделях соответственно подмодели.
Как использовать Taskи в C# чтобы ускорить этот процесс?

Comments

[Петр]

Тут явно проблема не только в потоках, но и в работе с БД. Для примера: если множество вставок данных поместить в одну транзакцию, то процес пойдет в разы шустрее. Также помогает отключение индексов.

[Ascar]

Петр, зачем индексы рубить? Тогда уж использовать SqlBulkCopy.

Answer 1

[Ascar]

static void Main(string[] args)
        {       
            ExampleMyltiTask();
            Console.ReadLine();
        }

       static HttpClient http = new HttpClient();

        static async Task ExampleMyltiTask()
        {

            int pages = 100;
            while (pages-- > 0)
            {
                var tasks = new List<Task>();

                int count = 10;

                while (count-- > 0)
                {
                    var task = Task.Run(async () =>
                    {
                        try
                        {
                            var item = await http.GetStringAsync("item url");
                            //парсинг item
                            // асинхронная запись в бд, например await context.SaveChangesAsync(); 
                            Console.Write("записано" + Environment.NewLine);
                        }
                        catch
                        {
                            //
                            Console.Write("ошибка" + Environment.NewLine);
                        }
                    });

                    tasks.Add(task);
                }

               await Task.WhenAll(tasks);

                //переход на след страницу             
                Console.Write("следующая страница" + Environment.NewLine);
            }
     }

Comments

[FairyFox5700]

я наверное что-то не понимаю, не могли бы вы посмотреть что не так?
https://github.com/FairyFox5700/carAplication/blob...

[Ascar]

FairyFox5700, используйте HttpClient как синглтон вместо WebClient.
static HttpClient http = new HttpClient();
Не используйте блокирующие вызовы, загрузку делайте так:
var item = await http.GetStringAsync("item url");

Сохраняя в бд используйте так же асинхронный вариант, в противном случае вы заблокируете поток и все старания будут насмарку.

Учтите что Parallel и db.SaveChanges() блокируют поток, сделайте как я вам написал в примере:
await db.SaveChangesAsync();

[FairyFox5700]

Ascar, извините не та версия
Вот https://github.com/FairyFox5700/carAplication/blob...

[Ascar]

FairyFox5700,

используйте HttpClient как синглтон вместо WebClient.
static HttpClient http = new HttpClient();

вместо этого

Task t= Task.WhenAll(tasks);
                try
                {
                    await t.ContinueWith(task => { GetAutomobileSubFamily(); });
                }
                catch (AggregateException)
                { }

это

await Task.WhenAll(tasks);
await GetAutomobileSubFamily();

И не проглатывайте ошибки, так вы потеряете данные и не узнаете об этом

catch (AggregateException)
      {}

[FairyFox5700]

Ascar, try
{
var tasks = new List();
int count = 10;
while (count-- > 0)
{
var taskToGetMarks = Task.Run(async () =>
{
try
{

string page = await http.GetStringAsync(Url);
Doc.LoadHtml(page);
var table = Doc.DocumentNode.SelectSingleNode("//table[@class='tck']");
var rows = table.Descendants("tr");

//Parallel.ForEach(rows, node =>
foreach (var node in rows)
{ //pages
var hrefs = node.SelectNodes(".//a");
string[] array = node.InnerText.Trim().Split(new[] { "\r\n", "\r", "\n" }, StringSplitOptions.RemoveEmptyEntries);
for (int i = 0; i < array.Length - 1; i++)
{
TradeMark tradeMark = new TradeMark
{
TradeMarkName = array[i],
TradeMarkUrl = "www.autosvit.com.ua" + hrefs[i].GetAttributeValue("href", "/tech")
};
tradeMarks.Add(tradeMark);
Console.WriteLine(tradeMark.TradeMarkName);
listOfMarksHrefs.Add(tradeMark.TradeMarkUrl);
}
}
//is it better to write each item or list of items?
using (var context = new CarEntitiesContext())
{
tradeMarks.ForEach(s => context.TradeMarks.Add(s));
await context.SaveChangesAsync();
}
}
catch (Exception ex)
{
Console.WriteLine(ex.Message);
}

});

tasks.Add(taskToGetMarks);
}
await Task.WhenAll(tasks);
await GetAutomobileFamily();
}
catch(Exception ex)
{
Console.Write(ex);
}
}
сейчас выходит из функции на await Task.WhenAll(tasks); а другая функция не запускается

[FairyFox5700]

Ascar, для чего именно предназначен counter? Так как у меня 181 марка на странице , но парсит около 900

[Ascar]

FairyFox5700, я вам его указал для примера, конечно впустую цикл перебирать не нужно. Я ответил на ваш изначальный вопрос?

[FairyFox5700]

Ascar, да спасибо большое) Наверное я что-то не понимаю просто..

[Ascar]

FairyFox5700, тогда отметьте что ответ верный.

Наверное я что-то не понимаю просто..

Пройдитесь дебагом

Эти куски вам не нужны

int count = 10;
                while (count-- > 0)

[Ascar]

FairyFox5700, у вас в Main нет Console.ReadLine(); так как таски в бэкграунде выполняются программа не успевает отработать.