DmZ

Вам не нужны драйвера для карточки именно в гипервизоре, покурите PCI passthrough для Xen. Эта технология позволяет «пробросить» устройство прямо в guest систему, и дрова соответственно должны быть установлены в guest системе :)