Правильным решение будет использовать Nvidia MiG
проверить подходит ли ваша карта (а не все карты поддерживают MiG)
можно командой nvidia-smi -mig 1
если не поддерживается, то проще арендовать сервера с gpu картами (например в
тут или
тут)
в саппорте обычно помогают с настройкой или хотя бы дают подсказки куда копать