Для чего это необходимо?
Установщик CUDA достаточно умен и пишет только в тот каталог, в который устанавливается, и по этому не оставляет после себя лишнего мусора.
Если вопрос возник применительно к организации вычислительного кластера, то мы используем установку всего специализированного софта (CUDA, компиляторы Intel и т.д.) в /opt и далее раздачу /opt по NFS на все вычислительные узлы.