https://gitlab.com/polloloco/vgpu-proxmox
Возможно кому-то будет полезно, я сам еще не пробовал, когда руки дойдут я отчитаюсь о результате.
Нашел решение для proxmox
Нужно в конфиг добавить строку командой
qm set 110 -args '-display egl-headless,rendernode=/dev/dri/renderD128,gl=core'
После этого машина будет использовать видеокарту для помощи через opengl, возможно нужно еще будет поставить модули для opengl: apt install libgl1 и apt install libegl1
После этого нагрузка будет ложиться на видеокарту