Спрятать Proxmox от Windows 10?

Question

[dagababaev]

Добрый день.
Подскажите, как можно "спрятать" систему виртуализации (ProxmoxVE 6.3) от Windows10?
Сейчас после установки на ВМ Windows видит, что он работает через KVM. В диспетчере задач – "Виртуальная машина: Да".
Цель – хочу попробовать таким образом прокинуть GPU Nvidia, т.к пока Windows видит что он внутри виртуалки, Nvidia отключает драйвер. Или может есть другой способ заставить работать GPU Nvidia внутри ВМ?

Answer 1

[Денис _______________]

https://m.habr.com/ru/post/437598/
Для обхода ошибки 43

Способ номер 1:
args: -cpu 'host,+kvm_pv_unhalt,+kvm_pv_eoi,hv_vendor_id=willitwork,kvm=off'

Способ номер 2:
Написал француз в комментарии к моему видео на ютуб
We don't need these arguments anymore. In fact I think the key is to force the server to boot with the IGPU (in the bios) and to exclude the Nvidia GPU in the /etc/modprobe.d/nvidia.conf file with the following lines:

echo "softdep nouveau pre: vfio-pci" » /etc/modprobe.d/nvidia.conf
echo "softdep nvidia pre: vfio-pci" » /etc/modprobe.d/nvidia.conf
echo "softdep nvidia* pre: vfio-pci" » /etc/modprobe.d/nvidia.conf

So I have my Windows and Linux VMs booting with the Nvidia GPU in Q35/OVMF

Comments

[Valentin Barbolin]

Классная статья.

dagababaev Из самой статьи на хабре.

Здесь строка «args:» решает, т.к. без нее драйвер видеокарты обнаружит виртуализацию, но путем подмены наименования оборудования, точнее hv_vendor_id=willitwork, мы снимаем проблему с ошибкой 43, которую может выдать видеодрайвер устройства. Здесь есть номер виртуальной машины в proxmox используемый в качестве имени.

[dagababaev]

Спасибо! Статья поиском не находилась… Пробую

[dagababaev]

OVMF не хочет запускаться – вообще не видит диск с которого загрузиться. Менял и тип диска и тип контроллера
При запуске в SeaBIOS proxmox начинает крошиться, после запуска ВМ с прокинутой картой

[Денис _______________]

dagababaev, начнем с начала - какой конфиг железа, что по группам iommu, выполняется ли тест из статьи, какая конфигурация ВМ, какая версия proxmoх, какую систему ставите? Через что управляете хостом с proxmox?

При успешном пробросе ВК для хоста пропадает и, если подключен кабелем монитор, то монитор получает картинку.

[Денис _______________]

dagababaev,
Еще момент, когда писался гайд, то тогда была в ходу 5-я версия proxmox, в 6-й немного переделали и нужно использовать uefi с добавлением диска uefi
По хорошему пересоздайте ВМ и заного накатите систему. Если использовать 2й способ, то аргумент в конфиге файла ВМ не нужен

[dagababaev]

Перво-наперво – спасибо за помощь!

Сейчас у меня проблема возникла именно с uefi. Поэтому второй способ тоже не сработает как я понял … Диск uefi в систему добавлен, об этом я и так знал, но проблема, когда стартует VM, то uefi не видит ни одного диска. Такие посты есть на форуме proxmox, но либо решения там нет, либо оно у меня не срабатывает. В "Порядок загрузки" стоит только нужный диск…

Вечером попробую заново создать ВМ и накатить винду уже с uefi, может поможет :)

Система: Ryzen 5 3600 / Gigabyte B450M DS3H V2 / 16Gb / GeForce 9800 GT (старая, но для пробы самое то, да и задаче не в игры играть)

iommu работает:
dmesg | grep -e DMAR -e IOMMU
[ 0.579791] pci 0000:00:00.2: AMD-Vi: IOMMU performance counters supported
[ 0.584321] pci 0000:00:00.2: AMD-Vi: Found IOMMU cap 0x40
[ 0.585254] perf/amd_iommu: Detected AMD IOMMU #0 (2 banks, 4 counters/bank).

[dagababaev]

При успешном пробросе ВК для хоста пропадает и, если подключен кабелем монитор, то монитор получает картинку.

– у меня проброс происходит. На монитор картинка выводится, но драйвер с кодом 43 и соотвественно он работает как "базовый" драйвер ОС. То есть никаких там opengl и пр… SolidWorks её соответственно вообще не видит

[dagababaev]

Все оказалось еще интереснее!
Попробовал все, что только можно – ничего из предложенного не работает (по крайней мере в моем PVE 6.3-2), поэтому я все поудалял и вернул к прошлому состоянию.
Затем как написано в wiki PVE сделал проброс в SeaBIOS путем: хх:хх,pcie=1,x-vga=1
Теперь драйвер встает как надо, ошибки 43 нет, НО! только если ВМ запущена первый раз, сразу после старта PVE… если её выключить/включить или перезагрузить – все как прежде …

[Денис _______________]

dagababaev,

Затем как написано в wiki PVE сделал проброс в SeaBIOS путем: хх:хх,pcie=1,x-vga=1

Собственно после всех настроек линукса этой командой ВК и пробрасывается, можно пробросить только ВК, без звука на HDMI/DP
попробуйте так же пробросить по хх:хх.0,pcie=1
при условии, что у вас сама видеокарта тоже с UEFI-биосом. Попробуйте для тестов взять поновее на денек

Возможно вы пропустили какой-то шаг или ошиблись при заполнении настроек в конфигурационных файлов (опечатались):

мой вариант настроек ВМ

По поводу параметров, строку с аргументами добавлять в файл настроек ВМ нужно через nano. в принципе вместо слова Willitwork, как в мое примере, может быть любая текстовая хрень... В моем случае работает так же конфиг /etc/modprobe.d/nvidia.conf, тогда строка с аргументами не нужна, хотя проброс ps/2 порта работает только через нее. По крайней мере как иначе это сделать - я ХЗ.

Как вариант можно попробовать поиграться с драйверами, поставить старше версию или оставить от мелкомягких. Точно уж и не помню какие в итоге оставил. Процессор пробрасывать только как host, никаких эмуляций, но вот ядра проца можно отдать не все.

использую все это дело на Proxmox 6.1-3

[Денис _______________]

dagababaev,
Кстати, только что обратил внимание что у меня винда видит, что она в виртуалке, но работает исправно вместе с NVidia

spoiler

Кстати, вы драйвера в госте установили?

[dagababaev]

По конфигу все как у вас только с поправкой на AMD и то, что кроме карты мне ничего пробрасывать не надо, поэтому аргументы я не ставил

/etc/modules

vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

nvidia.conf

softdep nouveau pre: vfio-pci
softdep nvidia pre: vfio-pci
softdep nvidia* pre: vfio-pci

blacklist.conf

blacklist nvidiafb
blacklist nvidia
blacklist radeon
blacklist nouveau

vmid.conf

args: -cpu 'host,hv_vendor_id=willitwork'
balloon: 0
boot: order=virtio0
cores: 4
cpu: host,hidden=1
hostpci0: 06:00,pcie=1
machine: q35
memory: 8192
name: SolidWorks2017
net0: virtio=C2:28:3E:D9:3B:FB,bridge=vmbr0,tag=10
…

Походу вы правы. видимо драйвера достаточно хитрые. Все работало – с первой загрузки драйвер определялся, все было ок, как и описывал ранее. После перезагрузки драйвер слетал… Специально попробовал n раз. Ну думаю мне и так сойдет ибо сервак почти не перезагружается и эта ВМ тоже… Отключил моник, закрыл шкаф, перезагрузил хост и всё, как отрезало… ни в какую… 43 и все. Изменилось по сути только то, что монитор отключил… Буду искать старые драйвера… они же через драйвер могут проверять наличие монитора "на том конце" провода

[dagababaev]

Попробуйте для тестов взять поновее на денек

Собственно и эта то изначально не моя :), но мне ее презентовали как раз для тестов. Если бы получилось то планировал купить нормальную, но покупать с вопросов "взлетит/не взлетит" совершенно нет желания. А самое главное, что ни у кого из знакомых нет radeon… вообще ни одной ни у кого (только у меня в iMac). Говорят с ними проблем нет, но это ну вообще не проверить

[Денис _______________]

dagababaev,

args: -cpu 'host,hv_vendor_id=willitwork'

Вы не правильно скопировали строку с аргументом, дословно скопируйте в полном объеме:

args: -cpu 'host,+kvm_pv_unhalt,+kvm_pv_eoi,hv_vendor_id=willitwork,kvm=off'

cpu: host,hidden=1

просто

cpu: host

без всякого hidden

[dagababaev]

c host,+kvm_pv_unhalt,+kvm_pv_eoi хост падает при запуске этой ВМ

[Денис _______________]

dagababaev,
после willitwork обязательно добавьте:

,kvm=off

[dagababaev]

Денис _______________, добавлял (и сейчас опять проверил). С этим ключом win10 не может загрузиться… ЦП 25% и два варианта сабытий: 1. ничего не происходит вплоть до 10 минут; 2. крэш все системы с перезагрузкой сервера.
Что-то в этих ключах не то, либо они для AMD не подходят.

Спасибо вам большое за помощь, но походу это не вариант. Буду пытаться найти radeon. Сейчас либо у меня компоненты друг к другу не подходят, либо как всегда П…н во всем виноват :)

[dagababaev]

Информация на будущее

Наткнулся на информацию касательно аргументов в настройках VM от поддержки PVE. С 2019 они больше не нужны, достаточно просто выбрать Windows в качестве гостевой ОС

Since people keep stumbling on this post of mine, quick update regarding the config above: Most of is no longer necessary! Especially the 'args' line is already being applied that way by PVE itself, as long as your "OS Type" is set to "Windows".

https://forum.proxmox.com/threads/pci-passthrough-...

[Денис _______________]

dagababaev, однако остается минимум одна проблема которую решает эта строка - проброс порта ps/2, вторая проблема gpu passthrough, у меня и на 5.3 и на 6.1 работает аргумент по этой тематике, хотя вот добавил настройки в конфиг nvidia.

что вам еще посоветовать я не знаю, т.к. мои методы у Вас не работают, видимо из-за разности раелизации на платформах стних и красных, а может дело в самом proxmox, я за обновлениями не гонюсь. Остается только подобрать Вам ВК от красных или затестировать более новую вк от зеленых

если все щаработает то это еще не конец, звук интегрированный в мать пробросить в вм без проблем, обычно, невозможно. Рекомендую или внешнюю звуковуху через внешний usb порт в слот pci-express x1 либо в этот же слот звуковую карту с последующим пробросом. Софтовый проброс звука как usb устройства вас разочарует. Интегрированный звук очень часто в чьей-то группе, все ухищрения со spice работают при удаленном подключении. Либо использовать монитор с колонками через hdmi/dp

[dagababaev]

Со звуком у меня как раз проблем никаких. Мне GPU нужен в виртуалке для работы в SolidWorks, не для игр.
Но у меня походу есть еще какая-то проблема с Proxmox потому-что совсем не работает uefi загрузчик в виртуалках.

В любом случае огромная благодарность за само желание помочь. Я по крайней мере понял куда копать в следующих тестах

[Денис _______________]

dagababaev, попробуйте поставить версию постарше, может они накрутили что-то в 6.3, т.к. тут квартал назад была новость про серевер бэкапов, поставьте 6.1 или 5.1 и попробуйте настроить. Настройки под мать рекомендую сразу дублировать в .Word что бы при возможной переустановке делать это быстрее.
Сами ВМ переношу ручками через полный бэкап вм - т.е. ставлю gui и через него копирую на подключенную флешку, затем создаю вм с таким же номером, закидываю бэкап и после перезагрузки proxmox тупо откатываю пустую виртуалку на бэкап. Костыль, зато работает =)

[dagababaev]

Ну я так же делаю, только у меня Synology по NFS вместо флэшки :)

Answer 2

[Sanes]

Попробуйте в настройках VM поменять тип процессора на host
В самом конце списка вроде.

Comments

[dagababaev]

Попробовал, но увы, все равно видит что работает внутри ВМ.

[Sanes]

dagababaev, возможно как-то по драйверам определяет.

[Денис _______________]

dagababaev, процессору обязательно ставить host

Answer 3

[CityCat4]

В тырнете полно советов о том, что нужно в конфиге машины поправить то или это, я все это правил, но у меня так и не заработало. Работу в виртуальной среде винда может определять по идам "оборудования", по наличию паравиртуальных дров, еще хрен знает по чему...

Answer 4

[Пума Тайланд]

Не очень понятно причем тут виртуалка, просто прокидывай туда видюху.
Или ты не прокинул и дрова ставишь

Comments

[dagababaev]

Вы просто не в курсе проблемы.
Я же написал, что прокидывая видеокарту nvidia внутрь виртуалки, драйвера отключаются. Мол – "покупайте серверную карту, а не бытовую". С AMD/ATI таких приколов нет, но и карты у меня такой нет …

[Пума Тайланд]

dagababaev, сорян прокидывал только в датацентрах, а там видимо серверные.

[Денис _______________]

Пума Тайланд, профессиональные ВК прокидываются без проблем и более того их ресурсы можно делить, между ВМ-и на профессиональных гипервизорах, при пробросе десктопных версий огромное пространство геморроя, т.к. производитель через драйвер блокирует такую фичу, что бы люди покупали решения из бизнес сегмента

[CityCat4]

NVidia когда видит что карта работает на виртуалке, намеренно глушит дрова и выдает ошибку инициализации. Как совершенно верно заметил Денис _______________ (а он хорошо в курсе проблемы) - делает это она абсолютно намеренно - чтобы для проброса в виртуалки покупали дорогущие профессиональные карты.