Память.
Либо ОЗУ, либо память видеокарты. Либо контроллер памяти, потому что я сразу обратил внимание на то, что мать какая-то незнакомая.
Самый простой способ - это добиться стабильного возникновения ошибки - а потом вынуть память и ставить планки по одной, запуская ту же игру и воспроизводя ту же ситуацию. Если будет найдена сбойная планка - менять. Если шаманство с памятью не дает эффекта - попробовать сменить видео. Если не помогает и смена видео - значит мать, то есть контроллер памяти.
Кстати, про разгон сказано верно - начать надо с отключения всего разгона и выставления таймингов памяти по спецификации. Еще такое может быть, если у памяти напряжение питания нестандартное, а чуть выше (однажды у меня было такое - купил геймерскую память, а ей оказалось нужно на +0.1V питания больше)