Если сервер и остальные устройства в одной подсети, то скорость линка до роутера влияет только на доступ в интернет.
Если устройства в разных подсетях, то скорость линка до роутера будет узким местом.
Ну и вопрос как именно настроена агрегация, какая политика балансировки установлена и на сервере и на коммутаторе.