Основополагающий фокус - LXC - это контейнер, а не виртуальная машина. Поэтому надо не пробрасывать видеокарту, а разрешить к оной доступ.
Например, из гугла пример для nvidia:
sqream.com/setting-cuda-linux-containers-2
Обратите внимание, что драйвер требуется установить и на хост-систему и в сам контейнер. При том, емнип, строго одной версии, т.к. драйвер из контейнера будет общаться с модулем ядра хостовой системы.
PS: теория. В своей практике я не разобрался, как контейнеру отдать встроенный intel gpu, при активной radeon дискретке на хост-системе.