для windows ставьте дополнения гостевой, набор драйверов, включающих экспериментальный драйвер 3d ускорителя, работает коряво,
детектируется не так как хостовый, но иногда работает.
p.s. если гость и хост (хотя есть платные xserver под windows с поддержкой gpu но зачем заморачиваться) у вас linux то можно штатным механизмом настроить работу по сети, т.е. приложения из гостевой могут подключиться по сети (переменная окружения DISPLAY) к настроенному xserver (по умолчанию там доступ только локалхост), я помню так запускал 3D игрушку с машины без ускорителя, сидя на машине с ним (для прикола, юзкейс не имеет особого смысла, кроме может быть только для gpgpu софта).
p.p.s. если у вас хост linux а гостевая любая, можно не использовать virtualbox а взять kvm (он кстати и так там используется, но недоступен для настроек) и настроить проброс pci-e оборудования из хоста в гостевую, понадобится дополнительная видеокарта, немного везения (если у вас десктопное железо) и куча гемороая но это работает (могут быть глюки, например в windows драйвера nvidia не устаналиваются если система гостевая, но можно ее однократно запустить вне виртуалки, а затем уже с настроенными драйверами все работает)