Я бы посоветовал NetLimiter (http://www.netlimiter.com/)
Умеет ограничивать скорость для выбранных приложений, создавать правила для групп приложений и т.д.
Единственное, не уверен, может ли этот софт динамически анализировать загруженность канала и раздавать приоритет на основе правил.