Как выполнить данный код в многопотоке?

Question

[Константин Теплоухов]

Всем привет , есть вот такой код .

foreach (string page in pages)
                {
                    using (var request = new Leaf.xNet.HttpRequest())
                    {
                        request.UserAgentRandomize();
                        request.ConnectTimeout = 1000 * 15;
                        string response = request.Get("https://site.com/search?p=" + page").ToString();

                        List<string> urls = Parses(response, "https://", ">./"); // тут парсим ссылки 

                        foreach (string link in urls)
                        {
                            Download("https://" + link); // метод Download делает гет запрос по ссылке , где парсит другую ссылку на скачивание файла и соот. качает его
                        }
                    }
                }

Код работает но из-за того что страниц pages и url в каждой из них много это происходит долго .(файлы весят не много, пару десяток / сотен килобайт . В среднем по 50к файлов должно по итогу качаться) как тут правильно завести всё хотябы в 2/3 потока ?

Comments

[Василий Банников]

Ну как вариант заменить foreach на Parallel.ForEach.
Но по хорошему тут надо ещё
1. Перейти на async-await, чтобы не потратить всю оперативку на потоки, которые ничего не делают.
2. Добавить ограничение на количество активных запросов (это можно сделать при помощи SemaphoreSlim)

[Константин Теплоухов]

Василий Банников, Попробовал временно отказаться от Leaf.xNet (использую её из-за простоты использования прокси) и использовать http client async . Только вот файлы повреждены . Что тут может идти не так ?

var fileName = pathSave + "\\jobs[" + System.Guid.NewGuid() + "].zip";
                        var uri = new Uri(url);
                        await client.DownloadFileTaskAsync(uri, fileName);
                        countDownloaded++;
                        Thread.Sleep(100);

[Василий Банников]

Константин Теплоухов,
1, У HttpClient же нет никакого "DownloadFileTaskAsync". Что за класс ты используешь?
2. Разве в путях можно использовать квадратные скобки?
3. Попробуй для исключения ошибок в методе DownloadFileTaskAsync сделать без параллельных запросов.
4. В асинхронных методах вместо Thread.Sleep следует использовать await Task.Delay
5. countDownloaded следует инкременировать через Interlocked.Increment

[Константин Теплоухов]

Василий Банников,
Ой , и правда забыл , небольшой кусок кода взятый с гугла

public static class HttpClientUtils
    {
        public static async Task DownloadFileTaskAsync(this HttpClient client, Uri uri, string FileName)
        {
            using (var s = await client.GetStreamAsync(uri))
            {
                using (var fs = new FileStream(FileName, FileMode.CreateNew))
                {
                    await s.CopyToAsync(fs);
                }
            }
        }
    }

[Константин Теплоухов]

Василий Банников,
1. скобки можно
2. Thread.Sleep я вообще удалил , остался от прошлых попытках в многопоточность
3. Interlocked.Increment сделал

3. Попробуй для исключения ошибок в методе DownloadFileTaskAsync сделать без параллельных запросов.
А вот это не понял если честно

[Василий Банников]

Константин Теплоухов,

А вот это не понял если честно

Это значит вызвать на одном файле, а не на куче ссылок и файлов.
И как именно сломан файл?

[Константин Теплоухов]

Василий Банников, вес файла сильно увеличился и просто не открывается архив .
В данный момент вернулся к библиотеке xNet и использую Parallel.ForEach
Работает быстрее но хотелось бы ещё быстрее сделать )

[Василий Банников]

Константин Теплоухов,

Работает быстрее но хотелось бы ещё быстрее сделать )

Ну тут у тебя в любом случае всё в сеть упирается

[Василий Банников]

Константин Теплоухов,

вес файла сильно увеличился и просто не открывается архив .

Пробовал внутренности смотреть?

[Василий Банников]

Константин Теплоухов, А у тебя вообще запрос там успешно выполняется? Попробуй вместо GetStreamAsync сделать GetAsync а потом проверить ответ