Ошибка makepkg при компиляции ядра linux-vfio. Как пробросить видеокарту в QEMU?

Question

[waitmar]

Делаю проброс видеокарты в QEMU, нужно изменить группы IOMMU, т.к. видеокарта с аудио подсистемой оказались в одной группе с процессором. С этой целью устанавливаю ACS патч для ядра. Изолировал пробрасываемую видеокарту, драйвер vfio-pci связан с ней. Далее делаю по следующей инструкции:

git clone https://aur.archlinux.org/linux-vfio.git
cd linux-vfio
sudo nano /etc/makepkg.conf
locate #MAKEFLAGS=, change to MAKEFLAGS="-j$(nproc)"
CTRL+O, CTRL+X
makepkg -si
sudo nano /etc/default/grub
add pcie_acs_override=downstream same place as enabling iommu GRUB_CMDLINE_LINUX_DEFAULT=
CTRL+O, CTRL+X
sudo grub-mkconfig -o /boot/grub/grub.cfg
reboot

При makepkg -si компиляция идет примерно пол часа, заканчивается следующими ошибками:

Setup is 15420 bytes (padded to 15872 bytes).
System is 8740 kB
CRC f0dc13b6
Kernel: arch/x86/boot/bzImage is ready  (#2)
make[1]: выход из каталога «/home/waitmar/acs/build/linux-vfio/src/archlinux-linux»
make[2]: вход в каталог «/home/waitmar/acs/build/linux-vfio/src/archlinux-linux»
m2c    -o arch/x86/crypto/aegis128-aesni.o arch/x86/crypto/aegis128-aesni.mod
make[2]: m2c: Нет такого файла или каталога
make[2]: *** [<встроенное>: arch/x86/crypto/aegis128-aesni.o] Ошибка 127
make[2]: выход из каталога «/home/waitmar/acs/build/linux-vfio/src/archlinux-linux»
make[1]: *** [scripts/Makefile.modpost:117: __modpost] Ошибка 2
make[1]: выход из каталога «/home/waitmar/acs/build/linux-vfio/src/archlinux-linux»
make: *** [Makefile:1388: modules] Ошибка 2
==> ОШИБКА: Произошел сбой в build().
    Прерывание...

Answer 1

[CityCat4]

Ну, изменить группу IOMMU проще всего просто переставив видеокарту - если некуда или ничего не поменялось - значит не повезло. Но если конечная цель - играть на виртуальной винде - нифига не получится (точнее говоря - очень большая вероятность того, что нифига не получится. Radeon (а не NVidia) увеличивает шанс)

Comments

[waitmar]

Переставлять NVIDIA некуда. А почему нифига не получится? У людей вроде выходит

[CityCat4]

waitmar, Выходит у отдельных людей, на отдельном железе и после мега-траха. Здесь есть Денис _______________ - вот у него вышло. Ну и кроме того, nvidia противодействует пробросу ее карт в винду. Если дрова обнаруживают, что карта проброшена, они тупо останавливаются и репортят ошибку в винду.
Не, у Вас может и получится. Ну или по крайней мере нехило знание линуха подтянете ;)

[Денис _______________]

waitmar, Вы точно пытаетесь пробросить дискретную ВК, а не интегрированную? Обе имеют как видео так и аудио. Если пробрасываете интегрированное видеоядро, то это не так работает. На сколько помню, когда изучал вопрос, что во-первых проброс возможен не на любом железе, во-вторых изоляция не панацея. Поменять мать будет быстрее, дешевле и практичнее. Рекомендую AsRock Pro4, только камень на ней гнать не надо. Плохая мать для разгона камней, т.к. имеет дохлые цепи питания и отсутствие радиаторов.

Моя статья про проброс при помощи ProxMox (надстройка над Debian + kvm) здесь
https://m.habr.com/ru/post/437598/

если будут проблемы с ошибкой 43 у меня есть еще один рецепт для Nvidia не описанный в статье

вот так это выглядит вживую (снято на тапок, освещение тоже не очень)
www.youtube.com/watch?v=wjlmWHJiEug

немного о пробросе видеоядра в Интел процах
https://wiki.archlinux.org/index.php/Intel_GVT-g
не на всех процессорах работает.

[waitmar]

Денис _______________, да, пробрасываю gtx 1060. А как понять, возможен ли проброс на моей мамке? Косвенные признаки: VT-x в биосе включен, IOMMU вообще не упоминается, но unraid говорит, что IOMMU enable. Мамка gigabyte ga-h61m-s2pv rev2. Я делал проброс по гайду из ютуба 2019 года, может он устарел... Виртуалка при старте выдает следующее:

Ошибка запуска домена: внутренняя ошибка: qemu unexpectedly closed the monitor: 2020-10-27T20:47:08.411204Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(48FH).vmx-exit-load-perf-global-ctrl [bit 12]
2020-10-27T20:47:08.411207Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(490H).vmx-entry-load-perf-global-ctrl [bit 13]
2020-10-27T20:47:08.411819Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(48BH).vmx-apicv-register [bit 8]
2020-10-27T20:47:08.411826Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(48BH).vmx-apicv-vid [bit 9]
2020-10-27T20:47:08.411829Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(48DH).vmx-posted-intr [bit 7]
2020-10-27T20:47:08.411833Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(48FH).vmx-exit-load-perf-global-ctrl [bit 12]
2020-10-27T20:47:08.411836Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(490H).vmx-entry-load-perf-global-ctrl [bit 13]

Traceback (most recent call last):
File "/usr/share/virt-manager/virtManager/asyncjob.py", line 65, in cb_wrapper
callback(asyncjob, *args, **kwargs)
File "/usr/share/virt-manager/virtManager/asyncjob.py", line 101, in tmpcb
callback(*args, **kwargs)
File "/usr/share/virt-manager/virtManager/object/libvirtobject.py", line 57, in newfn
ret = fn(self, *args, **kwargs)
File "/usr/share/virt-manager/virtManager/object/domain.py", line 1330, in startup
self._backend.create()
File "/usr/lib/python3.8/site-packages/libvirt.py", line 1234, in create
if ret == -1: raise libvirtError ('virDomainCreate() failed', dom=self)
libvirt.libvirtError: внутренняя ошибка: qemu unexpectedly closed the monitor: 2020-10-27T20:47:08.411204Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(48FH).vmx-exit-load-perf-global-ctrl [bit 12]
2020-10-27T20:47:08.411207Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(490H).vmx-entry-load-perf-global-ctrl [bit 13]
2020-10-27T20:47:08.411819Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(48BH).vmx-apicv-register [bit 8]
2020-10-27T20:47:08.411826Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(48BH).vmx-apicv-vid [bit 9]
2020-10-27T20:47:08.411829Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(48DH).vmx-posted-intr [bit 7]
2020-10-27T20:47:08.411833Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(48FH).vmx-exit-load-perf-global-ctrl [bit 12]
2020-10-27T20:47:08.411836Z qemu-system-x86_64: warning: host doesn't support requested feature: MSR(490H).vmx-entry-load-perf-global-ctrl [bit 13]

[Денис _______________]

waitmar, гигабайт однозначно под замену, у меня на Z370 не завелось на ней. Скиньте группы, что пишут....
есть небольшой тест, в моей статье он приведен, но он не панацея

1) Run the «dmesg | grep ecap» command.

2) On the IOMMU lines, the hexadecimal value after «ecap» indicates whether interrupt remapping is supported. If the last character of this value is an 8, 9, a, b, c, d, e, or an f, interrupt remapping is supported. For example, «ecap 1000» indicates there is no interrupt remapping support. «ecap 10207f» indicates interrupt remapping support, as the last character is an «f».

Interrupt remapping will only be enabled if every IOMMU supports it.

Перечень железа на котором это работает, на полный естественно:
https://en.m.wikipedia.org/wiki/List_of_IOMMU-supp...

[Денис _______________]

waitmar, При установке я биос так настраивал:
0й этап — На материнской плате включаем VT-d:Enable, Intel Vitrualization Technology:Enable, Primary Graphx adapter:VGA, Above 4G Decoding:Enable. Если есть возможность обязательно выбираем основным графическим адаптером тот, на котором будет работать хост, т.е. более слабую видеокарту и переключаемся на нее. Затем ставим ОС хоста на этой ВК.

Попробуй Proxmox, тот же линукс, только вебморда приятнее. В принципе виртуализация работать будет, но проброс зависит только от железа.

[waitmar]

Денис _______________, [waitmar@revenge ~]$ dmesg | grep ecap
[ 0.095413] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap c0000020e60262 ecap f0101a
[ 0.095416] DMAR: dmar1: reg_base_addr fed91000 ver 1:0 cap c9008020660262 ecap f0105a
Выходит, должно поддерживать?

[Денис _______________]

waitmar, Это необходимое условие, но недостаточное, но других тестов у меня для Вас нет (

Может поможет для Nvidia некий француз поделился на ютубе под моим видео как обходить ошибку 43 - оно работает

We don't need these arguments anymore. In fact I think the key is to force the server to boot with the IGPU (in the bios) and to exclude the Nvidia GPU in the /etc/modprobe.d/nvidia.conf file with the following lines:

echo "softdep nouveau pre: vfio-pci" >> /etc/modprobe.d/nvidia.conf
echo "softdep nvidia pre: vfio-pci" >> /etc/modprobe.d/nvidia.conf
echo "softdep nvidia* pre: vfio-pci" >> /etc/modprobe.d/nvidia.conf

So I have my Windows and Linux VMs booting with the Nvidia GPU in Q35/OVMF

[waitmar]

Денис _______________, https://pastebin.com/J77B2EvC вывод lspci -nnvk с группами

[Денис _______________]

waitmar, работает ли методика по установке патча ядра на более старом ядре/версии ОС?

[CityCat4]

Скриптец по iommu-group, найденный где-то в тырнете

#!/bin/bash
shopt -s nullglob
for d in /sys/kernel/iommu_groups/*/devices/*; do 
    n=${d#*/iommu_groups/*}; n=${n%%/*}
    printf 'IOMMU Group %s ' "$n"
    lspci -nns "${d##*/}"
done;

[waitmar]

Денис _______________, пробовал инструкцию от француза, не помогло. Другие ядра не пробовал, я думаю все таки дело в материнке. А proxmox не могу использовать, потому что есть только один комп, а в случае с proxmox, как я понимаю, нужен второй комп

[Денис _______________]

waitmar, настраивать можно и на одном компе, другое дело, что придется поставить графическую оболочку + браузер, т.к. по умолчанию там Debian без GUI и соответствующих приложений. Консоль там по умолчанию, но она так же доступна через вебморду. Если один раз настроить, то администрировать можно будет через виртуалку, подключенную к проброшенной ВК.