Проблема с Task.WhenAny, не запускает все таски сразу, Как решить?

Question

[Raphael]

Пишу приложение на C# с async await, которое загружает данные по url и парсит.
Экспериментально выяснил что 500 одновременных задач нагружают мой комп наиболее эффективно.
Создаю малый список из 500 тасок и когда пишу Task.WhenAll(tasks) все таски стартуют одновременно и заканчиваются когда придётся. Переписал на Task.WhenAny(tasks) - удаляю завершавшиеся и добавляю новые до 500, чтобы держать постоянно запущенными 500 тасок. Но не запускается больше 60 тасок одновременно. Оказалось что Task.WhenAny стартует таски по очереди с интервалом примерно в 1 секунду.

Подскажите как написать чтобы работало эффективно, возвращаться к тредам очень неохота.
VS2013 Update2 WPF C# .NET 4.5

Comments

[2kay]

Почему бы не попробовать вариант с msdn.microsoft.com/en-us/library/ee789351.aspx ?

[Raphael]

спасибо, попробую

[mobawe]

dj_raphael, можно Ваш скайп?

Answer 1

[Denis Antonenko]

На самом деле Task.WhenAll тоже не стартует все таски параллельно, таски исполняются в ThreadPool и именно он отвечает за запуск тасков. Если вам нужно ограничить параллельность сверху то можно использовать подобное решение: MSDN
Каким образом вы выясняли, что 500 задач оптимальный вариант?
Между тем Windows оперирует потоками и чем больше потоков запущено, тем больше времени уходит на переключение между ними.

Comments

[Raphael]

Да, @2kay уже предложил этот вариант но только в комментарии к вопросу.
Выяснил просто в Task.WhenAll засовывал таски постепенно увеличивая количество, 300, 400, 500, 600, урл один и тот же, время потихоньку росло, но после 500 был резкий скачек с 35 секунд до 75.
А ещё, чтобы разобраться, я писал лог в память и потом сбрасывал на диск. так вот в Task.WhenAll - время старта всех тасок одинаковое. меньше секунды разброс.