Как наиболее эффективно выкачать несколько миллионов html страниц, при этом не потратив вечность?

Question

[NoEscape]

Программа на C# делает Get запросы и выкачивает код. Я создаю в цикле по новому потоку, каждый поток с функцией выкачивания html. После 1400 повторов цикла прога виснет, visual studio тоже. Иногда отвисает и выбрасывает ошибку out of memory. Кажется, это из за большого количества потоков.

Вопрос: как мне наиболее эффективно выкачать несколько миллионов html страниц, при этом не потратив вечность?

Comments

[Виталий]

Если по out of memory то просто проблемы с очисткой памяти повставляй в конце каждого цикла закачки 1 страницы GC.Collect() и скорее всего проблема исчезнет. Большое количество потоков не поможет, 10 - 15 максимум одновременно, больше есть шанс что начнут падать екзепшены в каком либо потоке и обработка каждого будет занимать много времени.

Answer 1

[Сергей Протько]

У вас что 1400 потоков создается? Если у вас оперативки гигов 8-16 то конечно не хватит памяти... Вы хоть память освобождаете?

Вам нужно написать менеджер очереди. Несколько потоков будут висеть постоянно и каждый будет обращаться за новым заданием к менеджеру (придется блокировать остальные потоки дабы небыло гонки за ресурсами). Получив задание ваш поток-воркер выкачает данные и сохранит результат работы в базу/файловую систему и будет просить новое задание...

Comments

[Вадим Мартынов]

@blackx есть. И есть, конечно, всякие другие более тяжелые реализации, можно порт квартца использовать.

[Сергей Протько]

@blackx, тем более. Тогда задача упрощается еще больше.

Answer 2

[nekipelov]

Я не программирую на C#, поэтому могу сказать только по подходу к задаче. На каждую страницу по потоку - расточительство. Тем более, что на каждом углу говорят о том, как удобно сделана асинхронность в C#. Т.е. потоки не нужны вообще, скачивать надо асинхронно и единственный поток вполне справится со скачиванием данных на достаточно широком канале.

Comments

[NoEscape]

Отстал я от жизни, до сих пор сижу на VS 2010, там такого нету, придется обновляться что бы использовать Net 4.5

[nekipelov]

Эх, а для нас C++11, который частично поддерживает VS 2010, еще слишком ново и нестабильно :-(

Не может быть, чтобы в этой версии не было возможности использовать асинхронные запросы. Должно работать что-то вроде такого:

HttpWebRequest webRequest;

void StartWebRequest()
{
    webRequest.BeginGetResponse(new AsyncCallback(FinishWebRequest), null);
}

void FinishWebRequest(IAsyncResult result)
{
    webRequest.EndGetResponse(result);
}

Подробнее вот тут: msdn.microsoft.com/en-us/library/system.net.httpwe...