Proxmox: как сделать проброс GPU Intel UHD 605 внутрь виртуалки?

Question

[Геннадий]

Здравствуйте, господа. Имеется следующее железо:

- ASRock J5005-ITX (UEFI);
- Intel Pentium Silver J5005 (VT-x, VT-d);
- Intel UHD Graphics 605 (подключение к монитору по HDMI);
- 2 x 8 DDR4-2400 SO-DIMM.

Установил Debian 10 ("Stretch"), поверх него "накатил" Proxmox 6 (дальнейшее управление осуществляется через Web-интерфейс с другого ПК, который находится в той же локальной сети).

0. Вывод uname -a:

Linux j5005-itx 5.3.10-1-pve #1 SMP PVE 5.3.10-1 (Thu, 14 Nov 2019 10:43:13 +0100) x86_64 GNU/Linux

Что сделал дальше:

1. В файле /etc/default/grub изменил строку:

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on video=efifb:off"

2. Добавил в конец файла /etc/modules следующие строки:

vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

3. В конец файла /etc/modprobe.d/pve-blacklist.conf добавил строки:

blacklist snd_hda_intel
blacklist snd_hda_codec_hdmi
blacklist i915

4. Создал файл /etc/modprobe.d/kvm.conf и добавил в него строку:
options kvm ignore_msrs=1

5. Создал файл /etc/modprobe.d/vfio.conf и добавил в него строку:
options vfio-pci ids=8086:3184

поскольку команда lspci -nn | grep "VGA" выводит следующее:

00:02.0 VGA compatible controller [0300]: Intel Corporation UHD Graphics 605 [8086:3184] (rev 03)

6. Из пакета firmware-misc-nonfree извлёк файл glk_dmc_ver1_04.bin и скопировал его в директорию /usr/share/kvm.

7. Привёл файл виртуальной машины /etc/pve/qemu-server/100.conf к следующему виду:

agent: 1
balloon: 0
bios: ovmf
boot: dc
bootdisk: sata0
cores: 2
cpu: host
efidisk0: local:100/vm-100-disk-1.qcow2,size=128K
hostpci0: 00:02,pcie=1,romfile=glk_dmc_ver1_04.bin,x-vga=1
machine: q35
memory: 2048
name: Win10
net0: virtio=DA:52:A4:8B:C5:6F,bridge=vmbr0,firewall=1
numa: 0
ostype: win10
sata0: local:iso/ru-en_windows_10_1903-Jun_x86-x64_32in1_HWID-act-FiraDisk.iso,media=cdrom
sata1: local:100/vm-100-disk-0.qcow2,size=32G
scsihw: virtio-scsi-pci
smbios1: uuid=a02656db-e97c-4c2c-a4ff-955328ad71fc
sockets: 1
vga: none
vmgenid: 26990a9f-5645-47c4-99f6-1fa87481c708

Вывод команды dmesg | grep -aiE '((DMAR)|(kvm)|(acs)|(drm)|(Command line)|(iommu)|(vfio))' до запуска виртуальной машины:

[    0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-5.3.10-1-pve root=/dev/mapper/pve-root ro quiet intel_iommu=on video=efifb:off
[    0.009497] ACPI: FACS 0x000000006D6B1080 000040
[    0.009608] ACPI: DMAR 0x000000006D6A0D70 0000A8 (v01 INTEL  GLK-SOC  00000003 BRXT 0100000D)
[    0.142439] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-5.3.10-1-pve root=/dev/mapper/pve-root ro quiet intel_iommu=on video=efifb:off
[    0.142565] DMAR: IOMMU enabled
[    0.281246] DMAR: Host address width 39
[    0.281248] DMAR: DRHD base: 0x000000fed64000 flags: 0x0
[    0.281258] DMAR: dmar0: reg_base_addr fed64000 ver 1:0 cap 1c0000c40660462 ecap 9e2ff0505e
[    0.281260] DMAR: DRHD base: 0x000000fed65000 flags: 0x1
[    0.281269] DMAR: dmar1: reg_base_addr fed65000 ver 1:0 cap d2008c40660462 ecap f050da
[    0.281272] DMAR: RMRR base: 0x0000006d5d8000 end: 0x0000006d5f7fff
[    0.281274] DMAR: RMRR base: 0x0000006f800000 end: 0x0000007fffffff
[    0.281278] DMAR-IR: IOAPIC id 1 under DRHD base  0xfed65000 IOMMU 1
[    0.281280] DMAR-IR: HPET id 0 under DRHD base 0xfed65000
[    0.281281] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[    0.283216] DMAR-IR: Enabled IRQ remapping in x2apic mode
[    0.820781] DMAR: No ATSR found
[    0.820867] DMAR: dmar0: Using Queued invalidation
[    0.820872] DMAR: dmar1: Using Queued invalidation
[    0.821278] pci 0000:00:00.0: Adding to iommu group 0
[    0.821296] pci 0000:00:00.1: Adding to iommu group 0
[    0.856475] pci 0000:00:02.0: Adding to iommu group 1
[    0.856620] pci 0000:00:0e.0: Adding to iommu group 2
[    0.856719] pci 0000:00:0f.0: Adding to iommu group 3
[    0.856828] pci 0000:00:12.0: Adding to iommu group 4
[    0.856944] pci 0000:00:13.0: Adding to iommu group 5
[    0.857030] pci 0000:00:13.1: Adding to iommu group 6
[    0.857143] pci 0000:00:13.2: Adding to iommu group 7
[    0.857238] pci 0000:00:13.3: Adding to iommu group 8
[    0.857388] pci 0000:00:15.0: Adding to iommu group 9
[    0.857484] pci 0000:00:1f.0: Adding to iommu group 10
[    0.857502] pci 0000:00:1f.1: Adding to iommu group 10
[    0.857618] pci 0000:01:00.0: Adding to iommu group 11
[    0.857715] pci 0000:03:00.0: Adding to iommu group 12
[    0.857844] pci 0000:04:00.0: Adding to iommu group 13
[    0.857919] DMAR: Intel(R) Virtualization Technology for Directed I/O
[    6.897158] VFIO - User Level meta-driver version: 0.3
[    7.368306] vfio-pci 0000:00:02.0: vgaarb: changed VGA decodes: olddecodes=io+mem,decodes=io+mem:owns=io+mem
[    7.385318] vfio_pci: add [8086:3184[ffffffff:ffffffff]] class 0x000000/00000000

При запуске виртуальной машины там же появляются следующие строки:

[ 1013.548131] DMAR: DRHD: handling fault status reg 2
[ 1013.548140] DMAR: [DMA Write] Request device [00:02.0] fault addr 0 [fault reason 02] Present bit in context entry is clear
[ 1014.177149] vfio-pci 0000:00:02.0: vfio_ecap_init: hiding ecap 0x1b@0x100

При остановке виртуальной машины там же появляются следующие строки:

[ 1149.230800] DMAR: DRHD: handling fault status reg 2
[ 1149.230809] DMAR: [DMA Write] Request device [00:02.0] fault addr 0 [fault reason 02] Present bit in context entry is clear

И, самое главное, при запуске виртуальной машины напрочь пропадает изображение на мониторе, который подключён через HDMI. Светодиод на мониторе начинает мигать как при отсутствии видеосигнала с ПК.

Подскажите, пожалуйста, как добиться изображения на мониторе, которое (в теории) должно выводиться от виртуальной машины? Хотелось бы, чтобы видеокарточка в виртуалке работала на максимуме своей производительности (примерно как на реальном железе).

Comments

[Денис _______________]

Для того что бы пробросить ВК нужно их иметь на ПК 2 штуки - одну для хоста, вторую для ВМ, т.к. после проброса видеокарта исчезнет для хоста. Проброс осуществляется по моему мануалу, ссылку на который ниже предоставил Сергей @SuNbka

ах да, вы не поставили обманку для драйвера видеокарты, путем подмены vendor id. По поводу проброса интела не уверен что он осуществим, но вот pci-express видеокарта уже пробрасывается

[Геннадий]

Денис _______________, да пусть бы исчезала. Всё равно я хостом управляю исключительно через SSH.

[Денис _______________]

Геннадий, в чем проблема поставить вторую ВК и ее пробрасывать в ВМ? То что у Вас пропадает изображение и монитор переходит в режим отсутствующего сигнала означает что видюху хост таки отдает, но вот на счет видит ли ее ВМ - нужно подключиться на проксмокс через вебинтерфейс, зайти в видеоконсоль ВМ, а дальше смотреть что пишет диспетчер устройств. Обычно не установлен видеодрайвер или ошибка 43

мой гайд и вики проксмокса по пробросу читали?

[Геннадий]

Денис _______________,

в чем проблема поставить вторую ВК и ее пробрасывать в ВМ?

Проблема в том, что в материнке ВСЕГО ОДИН слот PCI-E. Да и то в нём стоит WiFi-адаптер для предоставления другим устройствам доступа к локалке\интернету.

но вот на счет видит ли ее ВМ - нужно подключиться на проксмокс через вебинтерфейс, зайти в видеоконсоль ВМ, а дальше смотреть что пишет диспетчер устройств. Обычно не установлен видеодрайвер или ошибка 43

То есть, Вы хотите сказать, что изображение на мониторе появится только после установки драйверов на карточку и загрузки самой ОС? До тех самых пор на мониторе видеосигнала быть и не должно?
Просто мне всё это представлялось как-то так: я запускаю виртуальную машину и, вместо пропадания изображения на мониторе, я на реальном экране вижу стартовые надписи BIOS\UEFI на экране. Затем как обычно устанавливаю систему, драйвера...

мой гайд и вики проксмокса по пробросу читали?

Да, конечно.

[Денис _______________]

я хочу сказать, что винду нужно настроить. По умолчанию там ставится ведущим виртуальная видеокарта. Пробрасываемая ВК видна в системе как подключаемое устройство на манер USB. Ее даже отсоединить через это меню можно. Вам необходимо поставить драйвер на пробрасываемую ВК, при этом, если все в порядке, это будет второй дисплей для системы, опять же средствами винды нужно будет сделать его основным. Категорически нужно настройками заменить вендор ИД, что бы не послал видеодрайвер.

Вы сперва ставите винду, а потом ее настраиваете. Потом при запуске ВМ вы увидите лого проксмокса и потом эран загрузки винды

Только заметил, а зачем вы romfile используете? Вы уверены что это именно ваш rom? или что вариант описанный в моей статье не прокатит?

[Геннадий]

Денис _______________,

Вы сперва ставите винду, а потом ее настраиваете. Потом при запуске ВМ вы увидите лого проксмокса и потом эран загрузки винды

Винду я установил через noVNC. Установил драйвер на Intel(R) UHD Graphics 605 (8086:3184):


Диспетчер устройств сообщает, что карта работает исправно:

при этом, если все в порядке, это будет второй дисплей для системы, опять же средствами винды нужно будет сделать его основным.

Ну, второй дисплей появился: VirtIO-GPU и проброшенная Intel(R) UHD Graphics 605 (8086:3184). Пробовал их местами менять.


При запуске ВМ я вижу лого Proxmox только в режиме noVNC, но на реальном мониторе по-прежнему нет сигнала.

Только заметил, а зачем вы romfile используете? Вы уверены что это именно ваш rom? или что вариант описанный в моей статье не прокатит?

Почти уверен. Поскольку чистый Debian при загрузке выводил Warning'и, в которых упоминалось, что необходима фирмварь для i915. После установки пакета firmware-misc-nonfree, содержащий указанный ROM-файл, Warning'и исчезли.

[Денис _______________]

Геннадий, вы пробывали подключаться через другой кабель? Выглядит будто все хорошо. Попробуйте еще добавить в файл конфигурации эту сроку
args: -cpu 'host,+kvm_pv_unhalt,+kvm_pv_eoi,hv_vendor_id=willitwork,kvm=off'

еще вы можете скопировать сюда лог по команде ## lspci?

[Геннадий]

Денис _______________, строчку:

args: -cpu 'host,+kvm_pv_unhalt,+kvm_pv_eoi,hv_vendor_id=willitwork,kvm=off'

я добавил в файл конфигурации /etc/pve/qemu-server/100.conf

Без изменений. Через noVNC изображение есть, на реальном мониторе изображение пропадает и не появляется.

еще вы можете скопировать сюда лог по команде ## lspci?

Да, конечно. Вывод lspci:

00:00.0 Host bridge: Intel Corporation Device 31f0 (rev 03)
00:00.1 Signal processing controller: Intel Corporation Celeron/Pentium Silver Processor Dynamic Platform and Thermal Framework Processor Participant (rev 03)
00:02.0 VGA compatible controller: Intel Corporation UHD Graphics 605 (rev 03)
00:0e.0 Audio device: Intel Corporation Device 3198 (rev 03)
00:0f.0 Communication controller: Intel Corporation Celeron/Pentium Silver Processor Trusted Execution Engine Interface (rev 03)
00:12.0 SATA controller: Intel Corporation Device 31e3 (rev 03)
00:13.0 PCI bridge: Intel Corporation Device 31d8 (rev f3)
00:13.1 PCI bridge: Intel Corporation Device 31d9 (rev f3)
00:13.2 PCI bridge: Intel Corporation Device 31da (rev f3)
00:13.3 PCI bridge: Intel Corporation Device 31db (rev f3)
00:15.0 USB controller: Intel Corporation Device 31a8 (rev 03)
00:1f.0 ISA bridge: Intel Corporation Device 31e8 (rev 03)
00:1f.1 SMBus: Intel Corporation Celeron/Pentium Silver Processor Gaussian Mixture Model (rev 03)
01:00.0 Network controller: Broadcom Limited Device 43c3 (rev 04)
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 15)
04:00.0 SATA controller: ASMedia Technology Inc. ASM1062 Serial ATA Controller (rev 02)

[Денис _______________]

Геннадий,
1. Посмотрите здесь
https://worthdoingbadly.com/gpupassthrough/
2. Почитайте об этом так же здесь
https://m.habr.com/ru/post/433878/
Intel® GVT
https://m.habr.com/ru/post/437270/

[Геннадий]

Денис _______________,

1. Посмотрите здесь
https://worthdoingbadly.com/gpupassthrough/

Пробовал ядру передавать параметр nomodeset - без изменений.

2. Почитайте об этом так же здесь
https://m.habr.com/ru/post/433878/

Вот это пока ещё не пробовал...

Пробовал менять кабель - вместо HDMI-кабеля подключился через VGA-кабель. Сигнал на мониторе стабильно пропадает при первом же запуске ВМ и не возвращается до тех пор, пока хост не будет перезагружен.

Intel® GVT

К сожалению, процессор не поддерживает GVT-g. При передаче ядру параметра i915.enable_gvt=1 в логах выводится:

[   10.327383] [drm] Unsupported device. GVT-g is disabled

[Геннадий]

Денис _______________, имеется мизерный прогресс... Но только совсем мизерный.

0. Привёл файлы конфигураций на хосте к следующему виду:

/etc/default/grub:

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream video=efifb:off"

/etc/modprobe.d/kvm.conf
options kvm ignore_msrs=1

/etc/modprobe.d/vfio.conf
options vfio-pci ids=8086:3184 disable_vga=1

1. Создал виртуальную машину с конфигом следующего содержания:

agent: 1
args: -device vfio-pci,host=00:02.0,addr=0x02,x-igd-gms=1
balloon: 0
bios: ovmf
boot: dc
bootdisk: sata1
cores: 2
cpu: host
efidisk0: local:101/vm-101-disk-1.qcow2,size=128K
machine: q35
memory: 2048
name: Debian10
net0: virtio=F6:30:C4:FA:26:09,bridge=vmbr0,firewall=1
numa: 0
ostype: l26
sata0: none,media=cdrom
sata1: local:101/vm-101-disk-0.qcow2,size=32G
scsihw: virtio-scsi-pci
smbios1: uuid=acaeef8f-c76d-4610-9d95-e9a5a46556ba
sockets: 1
usb0: host=0e6a:02c0,usb3=1
vga: none
vmgenid: f30bf785-5ff8-4bcd-b1a0-76fee0e17e28

2. Временно на хосте задал vga: std чтобы через noVNC установить в качестве гостя Debian 10 ("Stretch").
3. В гостевой ОС обновил ядро с версии 4.19 до 5.3 (backports).
4. Выключил виртуальную машину и на хосте вернул vga: none.
6. Включил виртуальную машину - монитор мигает и пишет, что нет сигнала. Подождал минуту и появилось изображение, где Debian запрашивает авторизацию в текстовом режиме.


Вывод dmesg | grep i915 на госте:

Если ядро не обновлять, то строчки, выделенные красным, отсутствуют и на мониторе изображение не появляется.

На Windows 10, с такой же конфигурацией виртуальной машины, изображение на мониторе так и не появилось...

[Геннадий]

1. Скачал с официального сайта архив с той же версией UEFI, которая зашита в материнку.
2. С помощью утилиты MMTool из UEFI извлёк дамп vBIOS интегрированной видюхи (8086:0406)
3. С помощью утилиты rom-parser/rom-fixer изменил VID\PID в извлечённом дампе на реальные (8086:3184)
4. С помощью rom-parser выяснилось, что видюха не поддерживает режим OVMF (UEFI), посему пришлось настроить виртуалку под SeaBIOS.
5. Скормил ранее извлечённый и модифицированный дамп vBIOS виртуалке:

args: -device vfio-pci,host=00:02.0,addr=0x02,x-igd-gms=1,romfile=j5005_vbios.rom

6. Изображение на экране монитора появилось.

Answer 1

[Сергей]

Когда-то пробрасывал по примеру этой статьи, всё работало.
Вдруг вам поможет.

Comments

[CityCat4]

И поищи ее автора здесь, с ним можно пообщаться. Мне в прииницпе тоже интересно, получится или нет :)