Не советую оставлять на хосте только гипервизор. Слишком много различных неудобств может возникнуть, да и администрирование усложнится на порядок. Лучше поставить полноценную ОС с GUI, хотя бы в минимальной конфигурации.
У меня установлена Windows 2008 Server R2 + Hyper-V как хостовая ОС, ну и виртуальные «по вкусу». На хосте только необходимый минимум софта, а все прикладные программы рассованы по виртуалкам — одна для серверного софта, вторая для разработки, третья для тестирования, и т.д.
В игрушки можно играть либо на хостовой, либо, как указали выше, с использованием RemoteFX. Но в случае с RemoteFX видеокарта действительно должна быть мощной: в случае с NVidia — либо топовые GeForce, либо карты класса Quadro.