Ответ - можно, называется
проброс видеокарты в виртуальную машину/GPUPassthrough, но с кучей ограничений и условностей:
1. Хост на Windows. Тут все сложно, слышал про то что пробрасывали ВК в VirtualBox.
https://www.reddit.com/r/VFIO/comments/dlesd0/gpu_...
Еще есть, точнее был RemoteFX, как раз на серверной винде 2012/2016
https://docs.microsoft.com/ru-ru/windows-server/vi...
смысл в том, что этот виртуальный адаптер пробрасывался в гостя, а вот нагрузка по обработке данных занимается обычная хардварная ВК, через которую рабочий стол виден. Собственно на этом все. Есть еще софт, который типа делит мощности попалам на 2 рабочих стола и копии сред, но, говорят глючный... хоть и платный.
2. Хост на Linux и его коллегах.
Тут все замечательно, потому что это делается через KVM/Xen/ESXi. Работает. Есть требования к железу, точнее к связке проца и матери. Если они не выполняются - проброс невозможен. Сложность в том, что внешне оценить это никак нельзя. Нет и централизованнного справочника такого оборудования (с процами проще, там нужно поддерживать VT-d+VT-x/AMD-Vi+IOMMU)а вот производители материнок такой информации не дают. Так что тут только опытным путем или искать посты об удачных конфигах в сети:
https://en.wikipedia.org/wiki/List_of_IOMMU-suppor...
Моя статья на Хабре
https://habr.com/ru/post/437598/
вот так это выглядит вживую (снято на тапок, освещение тоже не очень)
https://www.youtube.com/watch?v=wjlmWHJiEug