Хост тоже сидит в инете через этот адаптер? тогда не удивительно...
А вообще, если надо отдельный USB адаптер пробросить в виртуалку, то сеть вообще отключайте.
Далее пробрасывайте USB, как сейчас делаете,и уже в виртуалке настраиваете как на любом ПК при подключении устройства
Естественно если адаптер только 1, на котором и хост сидит в инете, то у хоста инет пропадет