Какая архитектура и технологии для разделения GPU терминальным пользователям?

Question

[Andrey Kamynin]

Всем привет!

У кого есть опыт, прошу разъяснить детальнее кейс:
Хотим собрать проектировщиков CAD (2-3D модельки и рендеринг всякого) на один физический сервер.
Немного углубившись возникли вопросы:

1) что проссто так виртуальные прослойки не дадут использовать бытовую карточку или карточка должна поддерживать архитектуру GPU Passthrough. И якобы если использовать ProxMox можно нарезать нужное кол-во виртуальных рабочих машинок под Win11 и etc и назначить им проброс этих карточек аля VDI. Но тогда над гибким управлением ресурсов речи не идет. В этом же кейсе, если накатить WinServ и запустить терминальных пользователей такая карточка вовсе будет игнорироваться и терминалы будут использовать встроенный GPU (вот тут до-конца мне не понятно, подскажете?)

2) Если выбрать терминал-вэй, тогда прослойку в видегипервизора будет затруднительно реализовать тут тоже прошу разъяснить:
есть вариант использовать для терминальных пользователей специализированную карту Nvidia a6000 48Gb, есть ли у кого опыт и в какой архитектуре и связке это работает?

Буду рад соображениям и опыту.
Заранее благодарен!

Comments

[Drno]

Если в 1м пункте речь идет про RDP - то конечно не будет работать, это ж RDP...

[Andrey Kamynin]

Натыкался не раз на такое:
Выполните команду Run с помощью сочетания клавиш Windows + R, затем наберите gpedit.msc и нажмите Ввод.
Найдите пункты политик отвечающие за RDP:

Политика "Локальный компьютер"\Конфигурация компьютера\Административные шаблоны\Компоненты Windows\Службы удаленных рабочих столов\Узел сеансов удаленных рабочих столов\Среда удаленных рабочих столов\Использовать аппаратные видеоадаптеры для всех сеансов удаленных рабочих столов

и активируйте этот пункт (Включено).

Но, к сожалению, протестировать не на чем. Поэтому за опытом и советом в сообщество пришел)

Я понимаю что 60 fps через rdp не добиться) Тут суть в том, чтобы для CAD систем проект задействовал GPU и не уходил в лаг из-за нехватки ресурсов, а не из-за того что картинка по сети прорисовывается через RDP со скокростью сетевого канала.

Answer 1

[Станислав Макаров]

что проссто так виртуальные прослойки не дадут использовать бытовую карточку или карточка должна поддерживать архитектуру GPU Passthrough

Не совсем верно. Бытовые карточки часто можно использовать, если драйвера для операционной системы внутри гостевой ВМ поддерживают это, сейчас нвидия вроде бы без ограничений разрешает проброс карточки в гостевую виртуалку (раньшедрайвера отслеживали это и отказывались запускаться, гуглите знаменитый Code 43). Некоторые бытовые карточки настраивать геморно, нужно пробрасывать ROM видяхи на гипервизоре. Нужно искать информацию по конкретным моделям каротчек. У AMD проблемы с тем, что драйвера в гостевой ОС некорректно обрабатывают перезагрузку ВМ, для этого умные люди даже написали костыль vendor-reset для некоторых моделей карточек.

Но бытовые карточки конечно получится пробросить только целиком. Если вы хотите купить одну карточку и пробрасывать в несколько гостевых ВМ, вам нужна карта с поддержкой спеки SR-IOV, например у AMD эта спека реализована в виде технологии MxGPU. Поддерживается она в некоторых прошных карточках, например в некоторых картах из серии FirePro, стоят они соответствующих денег. У нвидии это вроде называется Multi-instance GPU, подробно не исследовал этот вопрос. Не, у нвидии технология так и называется vGPU, а MIG это один из способ реализации "распила" карточки на несколько виртуальных устройств, наряду с time sliced. Вот кстати инструкция по настройке vGPU на Proxmox VE, протестирована на карточке RTX A5000, близко к вашей. Рекомендую ознакомиться.

Я пользуюсь проброшенной целиком бытовой карточкой от AMD.

P.S. Материнка конечно тоже должна поддерживать SR-IOV, это встречается в серверных и workstation-платах.

Answer 2

[pindschik]

А вам точно нужно усложнять задачу и делать виртуализацию терминалки?
- Обычные серверы "в железе" будут дешевле (мнооого дешевле) и их тоже можно масштабировать, просто добавляя новых.
- Отказ одного - не трагедия, переключились на резервный, этот чиним/меняем.

Теперь по существу:
- желательно иметь и встройку и допом дискретную графику, встройка потащит простые задачи (как например просмотр, особо одаренными, ютуба в терминале), дискретка обеспечит ваши основные задачи.
- лучше все же брать Quadro, с ними точно проблем не будет. Ну или RTX Axxx. На вторичке (дадада) Quadro P2000 лишь чуть дороже 3050.
- не читайте про аппаратные рекомендации, тестируйте именно в ваших задачах самостоятельно. Иногда рекомендации бесполезны и даже вредны. А иногда разницы между Quardo и 3050 нет, т.к. обе будут недогружены.
- АМД не советую ни процы ни графику, хотя есть оправданные исключения.
- Сеть 2.5 гигабита или выше. Соответствующий коммутатор и сетевая на файловом сервере. Быстрые и большие SSD.
- Память от 64 на комп (терминал), лучше 128. Даже если она останется наполовину незанята, это все равно очень хорошо помогает (CAD свои временные файлы успевает создавать и обрабатывать в кэше, а в рендерах на 32 Гб вы даже процедурную траву не обработаете).
- Ядер 10 (больших), ну край 8, но ядра нужны. Важна частота, поэтому Xeon не особо хорош, лучше домашние процы с буковкой "К". Хорошее охлаждение процессора и корпуса, разгон по тепловым пакетам.
- Разделяйте станции рендера и рабочие. Пока один рендерит - остальным будет некомфортно.
- Обязателен правильный тюнинг терминальной графики (в групповых политиках). Иначе будет не летать, а очень печально тупить.

По опыту на описанном серваке работают нормально 5, комфортно 7 проктировщиков в CAD. С Архитекторами отдельная история. Revit лучше чем Plant3D/CAD вывозит сложные чертежи и облака точек.

Решения с виртуализацией или арендой - входят в несколько раз дороже.
Можно брать на вторичке специализированные брендовые ПК ушедших иностранных компаний. Там еще выйдет экономия в 2 раза, при высоком качестве техники.

З.Ы.
Если же Вы сервис-провайдер, то печальные новости. Свое решение экономного клиента будет иметь окупаемость по сравнению с вашим - не более 8 месяцев. А потом работа в чистый убыток... Вам нужны специфические обстоятельства и настоящие нечестные конкурентные преимущества. :)

Comments

[Andrey Kamynin]

Здравствуйте!

Виртуалить терминал - это один из бомж подходов, когда есть одна железка для всего) Но всячески стараюсь отговорить рук-во от такого подхода. Целевая модель как раз на железе сразу ОС без прослоек именно для CAD сервера.
А сможете описать кейс?
Я понял у Вас стоит железочка с какой-то ос (WIN Srv например), и люди туда по RDP ходят и комфортно рендерят свои проекты задействуя дискретную карту, поддерживающую проброс ресурсов на нескольких пользователей? Или как-то иначе?

PS Нет, мы не сервис провайдер, наши задачки минимальны: 3 проектировщика единовременно на терминале или VDI на центральной железке.

[pindschik]

Cтоят железочки, да, с Windows сервер (для продуктов CAD 24-х версий достаточно 2019-го, но на новое надо уже 2022), люди работают откуда угодно, скорость отрисовки на клиенте вполне комфортная как в группе CAD так и на Revit. В локальной сети работает лучше, чем на типовом ПК. Задачи - промышленные чертежи, облака точек 3D сканирования.
Никакого пробороса никуда нет, виртуализации нет, графика встройка + Quadro.
Сервак на базе 10900k и новее - вывозит 7 проектировщиков в плоском Автокад или пятерых, если 3D и облака точек, и у пользователя 2 монитора. Жалобы начинаются от 10 пользователей Revit одновременно.
Обязательна двухфакторная авторизация на терминале.

Самый бюджетный вариант на сегодня - бывшие боинговские рабочие станции DELL (i7,32 Гб, 512, P2000 5Гб) им нужно добавлять памяти до 64-х. Цена на них 84 т.р. Ссылку давать не стану - не реклама.
З.Ы.
За нее можно посадить еще и человека, только с условием, что CAD, и обязательно подключить его к встройке. Тогда даже когда архитектор делает рендеры видюхой в TwinMotion - проектировщик работает вобще без тормозов.