Можно как-то "отдать" устройство винде на virtualbox, то есть есть Ubuntu с установленной VB с Windows, и есть Geforce GTX, и нужно, чтобы из под винды в VB в диспетчере устройств была моя GTX.
Железо должно поддерживать IOMMU (VT-d/AMD-Vi). Нужен второй монитор, т.к. при пробросе в виртуалку из Ubuntu карта доступна не будет.
Копать в гугле VGA Passthrough.
Лучше делать не VirtualBox, а в KVM (гайд напрмер).