Как быстро парсить ссылки на портале?

Question

[kotarak]

Нужно найти битые ссылки на портале.
Я скачиваю html страницы, нахожу на ней все ссылки и добавляю их в очередь на скачивание. В процессе выделяю битые\некорректные.

HttpWebResponse response;
                StreamReader respStream;
                try
                {
                    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(link.ToString());
                    request.UserAgent = "Mozilla/5.0 (Windows NT 6.1; rv:11.0) Gecko/20100101 Firefox/15.0";
                    request.Accept = "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
                    request.AllowAutoRedirect = true;
                    request.Timeout = 10000;
                    response = (HttpWebResponse)request.GetResponse();
                    respStream = new StreamReader(response.GetResponseStream());
                    html = respStream.ReadToEnd();
                    response.Close();
                    respStream.Close();
                }
                catch (Exception ex)
                {
                    System.Console.WriteLine("-------------\n" +
                            "Bad link: " + link + "\n" +
                            "From: " + link.Parent +
                            "\n" + ex.Message);
                    link.ErrorComments = ex.Message;
                    link.Parent.AddSon(link);
                    continue;
                }

Вот код для скачивания.
Я распараллелил программу, но скорость глобально не изменилась. С 60 ссылок в минуту в однопотоке скорость выросла до 120. Возможно я не оптимально скачиваю станицы? Скорость интернета позволяет скачивать 10-20 страниц в секунду. При этом со временем скорость скачивания падает. Как ускорить процесс?

Comments

[devalone]

Во первых юзать асинхронность, во вторых - искать узкое место твоего парсера

[Meloman19]

Вы просто не знаете одной особенности HttpWebRequest: максимальное количество одновременных запросов до одного хоста = 2. Это стандартное значение. Потому у вас и увеличилась скорость в 2 раза. Можно тут почитать.

Конечно, можно увеличить максимальное количество: ServicePointManager.DefaultConnectionLimit.
Но я бы порекомендовал начать работать с HttpClient.

Answer 1

[АртемЪ]

Возможно я не оптимально скачиваю станицы?

Возможно.

Скорость интернета позволяет скачивать 10-20 страниц в секунду.

Не факт. Как вы считали?

• Во первых даже считать по скорости - средний размер страницы 1,5MB * 20 страниц = 30MB/s или 30*8=240Mbit/s. У вас реально гарантированный канал на 200-300мегабит?
  
• Во вторых - скорость канала, даже гарантированного это скорость до конкретной точки, как правило до шлюза провайдера, а уж дальше как повезет. Поэтому при честном канале 100мегабит/с в интернет, скорость до сервера расположенного где-нибудь в Бразилии, будет 50килобит/с.
  
• В третьих - вы уверены что сам сервер способен отдавать быстрее, и не стоит никаких ограничений.
  

Многопоточность и асинхронность при парсинге помогает тем, что нивелирует время на ожидание ответа. И позволяет наиболее полно загрузить канал. А скорость оно никак не увеличивает.

Comments

[kotarak]

Размер одной страницы (читый html) 150-200кбайт. Интернет честные 100мбит. То есть с моей стороны технических проблем нет. Возможно скорость специально ограничивает сервер? Я еще подумал, что на один IP ограниченная скорость.

[АртемЪ]

kotarak,

Размер одной страницы (читый html) 150-200кбайт. Интернет честные 100мбит.

0,2мбайт *20 = 4мегабайта в секунду, или 4*8= 32мегабита.
Т.е для скачивания 20 страниц вам нужны гарантированные 32 мегабита до этого сервера.
100мегабит это ваш тариф насколько я понимаю - то есть скорость до шлюза провайдера, а какая скорость до конкретного сервера с которого вы качаете страницы?

Возможно скорость специально ограничивает сервер?

Возможно. Бывает и такое. Хотя чаще ограничивает не специально. Просто быстрее не может отдавать сервер, или канал в интернет дохлый.