Проблема с Task.WhenAny, не запускает все таски сразу, Как решить?

Почему бы не попробовать вариант с msdn.microsoft.com/en-us/library/ee789351.aspx ?