Проброс видеокарты в виртуальную машину и снимки состояния?

Question

[F1eex]

Недавно получилось пробросить видекарту (AMD RX 560) в виртуалку (хост Ubuntu 20.04, QEMU KVM, гость Win 8.1) После чего узнал, что снимки с такой конфигурацией делать нельзя, хотя возможна гибернация в гостевой Win 8.1 Есть ли другие виртуальные машины, в которых можно делать снимки с проброшенной видяхой? Существует ли вообще возможность делать снимки состояния виртуальной машины, в которую проброшена видеокарта? Или же есть какое-то фундаментальное ограничение?

Comments

[Максим Гришин]

Вроде как только дисковые снапшоты должны быть возможны в любом случае.

[F1eex]

Максим Гришин, дисковый - это значит без сохранения состояния оперативки? Снапшот вообще не делается, лаже если устройство не используется, но проброшено.

[Денис _______________]

F1eex,
https://forum.proxmox.com/threads/snapshot-blocked...

you cannot snapshot a vm with a passthrough device since we also have to save the internal state of the devices, which is currently not possible with real pci devices

вы не можете сделать снимок виртуальной машины с проброшенным устройством, так как необходимо сохранять внутреннее состояние устройств, что в настоящее время невозможно с физическими устройствами pci

Боюсь это на текущий момент фундаментальное ограничение, т.к. как ВЫ хотите сохранить состояние устройства Хостом, если оно ФИЗИЧЕСКИ проброшено в ВМ? Им Хост после проброса не управляет, не имеет к нему доступ!

Я, когда делаю бэкап, тупо глушу машину и делаю бэкап системы.
Hyper-V 100% делает корректные снимки видеопамяти и вообще запущенных приложений, но без проброшенных PCI-e устройств.

Answer 1

[Армянское Радио]

Это принципиально невозможно снаружи ВМ, потому что непонятно, как при пробуждении ВМ восстановить контекст видеокарты.

Гибернация на то и гибернация, что она может "попросить" драйвер карты усыпить девайс штатным образом.

Comments

[F1eex]

Выходит, в качестве аналога серии снапшотов, наверное, можно сделать "костыль" из копий виртуалок, отправленных в гибернацию?

[Армянское Радио]

F1eex, теоретически, можно. Отправленная на гибернацию ВМ снаружи ничем не отличается от выключенной.

[rPman]

а память видеокарты кто будет снапшотить? виртуалки не умеют, пробрасывая устройство и есть - сказать виртуалке - 'не занимайся этим, вот возьми готовое'.

Т.е. переключая состояние с 99% вероятностью получишь глюк (1% это тот случай, к примеру, когда программы умеют восстанавливать свою работу после сброса видеокарты, windows explorer к примеру может)

[Армянское Радио]

rPman, так, железный компьютер с видеокартой в гибернацию может уйти?

[rPman]

точно, совсем забыл про этот момент!

[Армянское Радио]

rPman, да, следовательно, и виртуалка внутри себя может заснуть, а потом ее можно снаружи в таком виде заснапшотить

Answer 2

[CityCat4]

Недавно получилось пробросить видекарту (AMD RX 560) в виртуалку (хост Ubuntu 20.04, QEMU KVM, гость Win 8.1)

Вау! А можешь немного подробнее поделиться? Какая версия ядра, QEMU, libvirt, какая мать, какие настройки делались? Тут множество желающих повторить сие найдется.

Comments

[F1eex]

5.8.0-50-generic

id видяхи и встроенной в нее звуковухи 1002:67ff,1002:aae0

Virtual Machine Manager 2.21
QEMU emulator version 4.2.1 (Debian 1:4.2-3ubuntu6.16)
Copyright (c) 2003-2019 Fabrice Bellard and the QEMU Project developers

$ dpkg -s qemu-kvm | grep Version
Version: 1:4.2-3ubuntu6.16

Железо:
Проц - QQLT (i7-9850HK ES модифицированный для 1151 сокета), AsRock Z170 Extreme4 uefi 7.50 coffe mod, 32Gb DDR4 2666.

Пришлось переставить видяху в слот PCIe x1. Иначе видяха попадала в группы IOMMMU, где были другие устройства. Поначалу я хотел пробросить старую HD 6770 (судя по гуглению радики 5000-6000 довольно часто успешно пробрасывались) в WinXP и Win7 32 и 64 bit. Но это заканчивалось тем, что во время перезагрузки после установки дров на видяху возникал синий экран.
С RX 560 и Win7 дрова ставились, но видяха не работала, в диспетчере задач возникала "Недостаточно свободных ресурсов для работы данного устройства код 12". Установить Win7 с EFI вместо BIOS не получалось, установка зависала после надписи Starting Windows. В Win8 же все установилось нормально, правда драйвера пришлось качать с driver.ru, .к. на сайте АМД нет дров для Win 8. Звук по HDMI тоже прокинулся нормально.

[CityCat4]

F1eex, Какая модель матери, чтобы проще было в магазине искать? И еще - как мыш и клава - нормально переключаются?
У меня все время свербит в #опе замутить такое нашим конструкторам и электроникам, которые используют сугубо специфичный виндовый софт...

[F1eex]

CityCat4, вряд ли я могу вам сообщить больше, чем знаете вы сами. Да и в конце концов, мой успешный случай проброса во-первых, не прошел длительного тестирования (я просто запустил пару игр, видимых различий с "голым металлом" не заметил, но долго не играл); а во-вторых, мой случай может быть типичной "ошибкой выжевшего" :)

Но насколько я нагуглил, АСроки вроде как обеспечивают проброс. Моя Asrock z170 extreme 4 старая материнка с кофемодом, она на кофелейки вообще не рассчитана. Щас в магазинах должны быть почти такие же Asrock z370 extreme 4. Мышь и клава - пробасываются стандартным перенаправлением USB через VirtManager. Ну и про AMD видеокарты типа проще пробросить, вы тоже читали. Только вот у меня 6770 как видите, не получилось.

И еще одно мое ничем не подтвержденное соображение: если вы пытаетесь делать проброс по чьему-то мануалу, используйте софт и драйвера того времени, когда этот мануал был написан. Если же у вас новое железо, то и драйвера и гипервизор и ОС тоже следует использовать последнее.

[CityCat4]

F1eex, Знание человека, у которого получилось - всегда очень ценное - у меня-то ведь не получилось нифига! Правда, я пробрасывал нвидию... Не, с пробросом все нормально было, тоже пришлось переставлять видюху, чтобы IOMMU нормально разошлись, но дрова не запускались хоть тресни - "ошибка 42" и все. А до пробросов мыша и клавы я просто не дошел :)

[F1eex]

CityCat4, возможно вам будет полезен конфиг виртуалки:

spoiler

<domain type="kvm">
  <name>win8_1</name>
  <uuid>23b29347-be66-414d-a9d4-5fd77e39a100</uuid>
  <metadata>
    <libosinfo:libosinfo xmlns:libosinfo="http://libosinfo.org/xmlns/libvirt/domain/1.0">
      <libosinfo:os id="http://microsoft.com/win/8.1"/>
    </libosinfo:libosinfo>
  </metadata>
  <memory unit="KiB">4194304</memory>
  <currentMemory unit="KiB">4194304</currentMemory>
  <vcpu placement="static" current="2">4</vcpu>
  <os>
    <type arch="x86_64" machine="pc-q35-4.2">hvm</type>
    <loader readonly="yes" type="pflash">/usr/share/OVMF/OVMF_CODE.fd</loader>
    <nvram>/var/lib/libvirt/qemu/nvram/win8_1_VARS.fd</nvram>
  </os>
  <features>
    <acpi/>
    <apic/>
    <hyperv>
      <relaxed state="on"/>
      <vapic state="on"/>
      <spinlocks state="on" retries="8191"/>
    </hyperv>
    <vmport state="off"/>
  </features>
  <cpu mode="host-passthrough" check="none">
    <topology sockets="1" cores="2" threads="2"/>
  </cpu>
  <clock offset="localtime">
    <timer name="rtc" tickpolicy="catchup"/>
    <timer name="pit" tickpolicy="delay"/>
    <timer name="hpet" present="no"/>
    <timer name="hypervclock" present="yes"/>
  </clock>
  <on_poweroff>destroy</on_poweroff>
  <on_reboot>restart</on_reboot>
  <on_crash>destroy</on_crash>
  <pm>
    <suspend-to-mem enabled="no"/>
    <suspend-to-disk enabled="no"/>
  </pm>
  <devices>
    <emulator>/usr/bin/qemu-system-x86_64</emulator>
    <disk type="file" device="cdrom">
      <driver name="qemu" type="raw"/>
      <source file="/home/admin1/&#x417;&#x430;&#x433;&#x440;&#x443;&#x437;&#x43A;&#x438;/virtio-win-0.1.185.iso"/>
      <target dev="sdb" bus="sata"/>
      <readonly/>
      <boot order="1"/>
      <address type="drive" controller="0" bus="0" target="0" unit="1"/>
    </disk>
    <disk type="file" device="disk">
      <driver name="qemu" type="qcow2"/>
      <source file="/var/lib/libvirt/images/win8_1-1.qcow2"/>
      <target dev="sdc" bus="sata"/>
      <boot order="2"/>
      <address type="drive" controller="0" bus="0" target="0" unit="2"/>
    </disk>
    <controller type="usb" index="0" model="qemu-xhci" ports="15">
      <address type="pci" domain="0x0000" bus="0x02" slot="0x00" function="0x0"/>
    </controller>
    <controller type="sata" index="0">
      <address type="pci" domain="0x0000" bus="0x00" slot="0x1f" function="0x2"/>
    </controller>
    <controller type="pci" index="0" model="pcie-root"/>
    <controller type="pci" index="1" model="pcie-root-port">
      <model name="pcie-root-port"/>
      <target chassis="1" port="0x10"/>
      <address type="pci" domain="0x0000" bus="0x00" slot="0x02" function="0x0" multifunction="on"/>
    </controller>
    <controller type="pci" index="2" model="pcie-root-port">
      <model name="pcie-root-port"/>
      <target chassis="2" port="0x11"/>
      <address type="pci" domain="0x0000" bus="0x00" slot="0x02" function="0x1"/>
    </controller>
    <controller type="pci" index="3" model="pcie-root-port">
      <model name="pcie-root-port"/>
      <target chassis="3" port="0x12"/>
      <address type="pci" domain="0x0000" bus="0x00" slot="0x02" function="0x2"/>
    </controller>
    <controller type="pci" index="4" model="pcie-root-port">
      <model name="pcie-root-port"/>
      <target chassis="4" port="0x13"/>
      <address type="pci" domain="0x0000" bus="0x00" slot="0x02" function="0x3"/>
    </controller>
    <controller type="pci" index="5" model="pcie-root-port">
      <model name="pcie-root-port"/>
      <target chassis="5" port="0x14"/>
      <address type="pci" domain="0x0000" bus="0x00" slot="0x02" function="0x4"/>
    </controller>
    <controller type="pci" index="6" model="pcie-root-port">
      <model name="pcie-root-port"/>
      <target chassis="6" port="0x15"/>
      <address type="pci" domain="0x0000" bus="0x00" slot="0x02" function="0x5"/>
    </controller>
    <controller type="pci" index="7" model="pcie-root-port">
      <model name="pcie-root-port"/>
      <target chassis="7" port="0x16"/>
      <address type="pci" domain="0x0000" bus="0x00" slot="0x02" function="0x6"/>
    </controller>
    <controller type="virtio-serial" index="0">
      <address type="pci" domain="0x0000" bus="0x03" slot="0x00" function="0x0"/>
    </controller>
    <interface type="network">
      <mac address="52:54:00:b1:5a:3a"/>
      <source network="default"/>
      <model type="e1000e"/>
      <address type="pci" domain="0x0000" bus="0x01" slot="0x00" function="0x0"/>
    </interface>
    <serial type="pty">
      <target type="isa-serial" port="0">
        <model name="isa-serial"/>
      </target>
    </serial>
    <console type="pty">
      <target type="serial" port="0"/>
    </console>
    <channel type="spicevmc">
      <target type="virtio" name="com.redhat.spice.0"/>
      <address type="virtio-serial" controller="0" bus="0" port="1"/>
    </channel>
    <input type="tablet" bus="usb">
      <address type="usb" bus="0" port="1"/>
    </input>
    <input type="mouse" bus="ps2"/>
    <input type="keyboard" bus="ps2"/>
    <graphics type="spice" autoport="yes">
      <listen type="address"/>
      <image compression="off"/>
    </graphics>
    <sound model="ich9">
      <address type="pci" domain="0x0000" bus="0x00" slot="0x1b" function="0x0"/>
    </sound>
    <video>
      <model type="virtio" heads="1" primary="yes">
        <acceleration accel3d="yes"/>
      </model>
      <address type="pci" domain="0x0000" bus="0x00" slot="0x01" function="0x0"/>
    </video>
    <hostdev mode="subsystem" type="pci" managed="yes">
      <source>
        <address domain="0x0000" bus="0x05" slot="0x00" function="0x0"/>
      </source>
      <address type="pci" domain="0x0000" bus="0x04" slot="0x00" function="0x0"/>
    </hostdev>
    <hostdev mode="subsystem" type="pci" managed="yes">
      <source>
        <address domain="0x0000" bus="0x05" slot="0x00" function="0x1"/>
      </source>
      <address type="pci" domain="0x0000" bus="0x05" slot="0x00" function="0x0"/>
    </hostdev>
    <redirdev bus="usb" type="spicevmc">
      <address type="usb" bus="0" port="2"/>
    </redirdev>
    <redirdev bus="usb" type="spicevmc">
      <address type="usb" bus="0" port="3"/>
    </redirdev>
    <memballoon model="virtio">
      <address type="pci" domain="0x0000" bus="0x06" slot="0x00" function="0x0"/>
    </memballoon>
  </devices>
</domain>

[CityCat4]

F1eex, Однозначно будет полезен. Я пытался нае... нвидию хаками с тырнета, но нвидия оказалсь умнее :)

Answer 3

[F1eex]

Итак, мой ответ на мой же вопрос, подведение итогов. Снимок состояния с проброшенной видяхой фундаментально на данный момент (13.05.2021) невозможен. Остается вариант - отправить машину в гибернацию, после чего уже сделать снимок. При этом в последующих случаях восстановления снимка, машина очевидно будет выключена и в состоянии гибернации. Поэтому потребует ее включение. Может быть не очень удобно, но кое-что.

Опишу, как делать эту процедуру в QEMU KVM c gpu passthrough.
Отправлять в гибернацию винду я буду из хостовой ubuntu через команду virsh dompmsuspend https://libvirt.org/manpages/virsh.html#dompmsuspend. Для этого нужно сделать следующие шаги:

1. В xml виртуалки в разделе pm>нужно исправить suspend-to-mem enabled="no"/ и suspend-to-disk enabled="no"/ на "yes":

spoiler

<pm>
    <suspend-to-mem enabled="yes"/>
    <suspend-to-disk enabled="yes"/>
  </pm>

2. xml виртуалки в раздел нужно добавить devices:

spoiler

<channel type='unix'>
   <source mode='bind' path='/var/lib/libvirt/qemu/f16x86_64.agent'/>
   <target type='virtio' name='org.qemu.guest_agent.0'/>
</channel>

3. В гостевой Windows нужно установить QEMU Guest Agent. Я скачал его с ISO образа с драйверами Windows VirtIO https://fedorapeople.org/groups/virt/virtio-win/di...QEMU Guest Agent находится в папке guest-agent образа.

Собственно в гибернацию машину можно отправить командой virsh dompmsuspend domain disk, где domain - это имя виртуалки.