так же на сколько много тратится памяти определить сложно (в дебрях pytorch много чего происходит)
, обычно тупо на практике проще посмотреть.
VAE и CLIP загрузить можете на процессоре.
CLIP и VAE занимают очень мелкую часть просчета, если сборка принимает решение считать их на CPU, возможно это из-за малой VRAM.
коль ты выпаял bga, то возьми даташит и прозвони питание на землю в них.
Винда тоже может отжимать от 0.5 до 3гб VRAM просто по факту загрузки.