Не существует драйверов для windows гостя с полноценной поддержкой 3d-акселератора.
Есть какие то кастрированные потуги, например при установки гостевых дополнений (те что проприетарные и требуют отдельной загрузки) можно отметить чекбоксик что желаете экспериментальную поддержку directx 3d но на практике там мало что работает и самое главное ничего не работает в windows 10, майкрософт что то как следует сломало и перестало работать даже то что раньше работало.
Та же ситуация с другими системами виртуализации.
Для qemu есть spice, механизм универсального проброса функций 3d ускорителя по сети, но на сколько это работоспособно я не знаю, кажется плохо.
Наилучшее на текущий момент решение - проброс всего PCI контроллера с видеокартой (всем что оно предлагает, там и звуковая карта для hdmi и еще какие то устройства), virtualbox так не умеет, пробуй с qemu. Вот посмотри тут есть
список устройств которые вроде бы будут работать так
https://ubuntu.com/server/docs/gpu-virtualization-...
https://wiki.gentoo.org/wiki/GPU_passthrough_with_...
p.s. совет, сначала настрой windows машину не внутри виртуалки а на реальном железе с пробрасываемой видеокартой, установив драйвера заранее и только потом переноси ее в виртуальную машину, когда то давно установщик драйверов в windows не могу их установить если видеокарта биосом уже была инициализирована (получается двойная попытка).
Простой
