Если железо мощное, то падение производительности небольшое. Я сейчас работаю на ВМ на хостововой машине. Для игр и работы в тяжелых приложениях хватает, но это топовая конфигурация сокета. Собственно свой опыт по настройке proxmox с пробросом видеокарты я описывал здесь:
https://m.habr.com/ru/post/437598/
Несколько замечаний:
1. Виртуальный жесткий на запись медленнее реального в несколько раз. Часть ресурсов придется оставить хосту, а значит на эту часть ВМ будет медленнее чем нативный ПК без виртуализации.
2. Для успешного проброса необходимо что бы железо поддерживало iommu и полный набор соответствующих виртуализационных технологий от АМД/Интел и должен выполняться тест на них(в статье есть описание как сделать тест)
Иными словами не любая материнская плата и процессор подойдут для этого дела.
3. Настройки, драйверу ВК надо подсунуть любое левое id оборудования, вместо винтуального, иначе получите на игровых видеокартах ошибку 43 и ничего не заработает.
4. Работа осуществляется на отдельном мониторе или на одном и том же, но на разных видеовходах, т.е. потребуется переключаться
5. Я еще не тестировал 6й proxmox, но в старых версиях при пробросе устройства из группы в ВМ остальные отваливаются для хоста. В моем случае интегрированная звуковая карта и lan находятся в одной группе устройств и при пробросе звука падает сеть. Вылечил физическим пробросим usb контроллера с покупкой внешней звуковой карты. На обычном пробросе как устройство отвратно работал микрофон и были наводки
если будет нужно реальные фото/видео работающей системы обращайся)