Очень похоже, что БП не хватает мощности под нагрузкой: падает напряжение линии 12 Вольт видеокарты и он отключается по защите (сталкивался с таким поведением). И делает он это правильно. Вот неправильные БП не отключаются, а падение напряжение может быть так же вредно для электроники как и его превышение. Если есть мультиметр - начните с проверки напряжения линии 12 Вольт видеокарты под нагрузкой, если нет мультиметра - смотрите программные датчики. Программные датчики могут показывать не очень точное значение - главное смотрите сам факт значительного падения напряжения. Так же показателем проблемы с БП может быть перекос напряжения - одна линия падает, а другая поднимается. Например +5 или 3.3 Вольта могут подняться из-за перегрузки линии 12 Вольт.
Для теста можно использовать AIDA64 - запустить стресс тест видео/проц/память и смотреть напряжение. Напряжение не должно выходить за пределы допустимого.
Таблица допустимых напряжений блока питания стандарта ATX:
Линия напряжения
+12В +5В +3.3В +5VSB -12В
Диапазон отклонений
± 5% (± 0.6В) ± 5%(± 0.25В) ± 5%(± 0.165В) ± 5%(± 0.25В) ± 10%(± 1.2В)
Минимальное напряжение
11.4В 4.75В 3.135В 4.75В 10.8В
Максимальное напряжение
12.6В 5.25В 3.665В 5.25В 13.2В
Если напряжение падает хотя бы на полвольта - этого уже достаточно для замены БП. Блок питания должен быть с запасом в 20-25% от мощности и эксплуатироваться на мощности не более 80% от максимальной нагрузки для максимизации его продолжительности жизни.