Коммерческие решения такой задачи называются Virtual Desktop Infrastructure (VDI), можете так и гуглить. У многих крупных вендоров это есть - Citrix, Microsoft, VMWare. Машина, на которой собственно весь софт запускается обычно называется сервером виртуальных рабочих столов.
Такие решения как правило требуют соответствующей поддержки от железа - как отметил
Василий Банников , по-хорошему вам нужна видяха с поддержкой
SR-IOV - эта такая фишка у устройства, когда оно умеет распадаться на несколько виртуальных устройств - примерно как сами CPU умеют делать последние 15 лет, только для PCI-e устройств. Это например серия Quadro у нвидии и карточки с технологией MxGPU у AMD. Но это весьма дорогое удовольствие, вы удивитесь стоимости таких видеокарт, т.к. они обычно рассчитаны на корпоративный сектор, где можно снять побольше бабла.
С другой стороны, PCI passtrough уже более-менее нормально работает для обычных потребительских видях, я например пишу этот текст на Виндовой виртуалке в Proxmox, в которую проброшена целиком видяха. Но честно говоря я не пробовал собирать такое решение для работы по сети с потребительскими карточками. PCI passtrough подразумевает, что карточка пробрасывается в виртуалку целиком, поэтому вам нужно по одной карточке на каждую виртуалку.
Была ещё на свете такая прикольная штука как
Windows Multipoint Server, но кажется она умерла.