Если у вас включен DX12 - у него есть фича использования оперативной памяти в помощь видяхе, попробуйте переключить на DX11.
А так то если всё работает нормально - чего ему мешать то?
Ну и неудивительно что при необходимых 12гб вылетает, память не может выделить вот и вылетает, отключайте графику чтобы вмещалось в 8гб, причём лучше оставить запас 512-1024мб