QoS должен делать провайдер (при условии, что канал в инет < канала между роутером и компом).
Гляньте для начала загрузку процессора роутера и канала, если тормоза при чистом канале и небольшой загрузкой CPU роутера - то есть какая-то сетевая проблема.
запустите пинг до ресурса и посмотрите насколько велика разница между max/min и средним временем.