На современных видеокартах бесполезно применять термопасту, которая используется для процессоров. За счет массивного прижима радиатора к видеочипу обычную термопасту выдавливает. Поэтому нужна такая, которая не подвержена этому эффекту.
Также нужно уделять внимание кривизне прижима радиатора. То есть нужно разобрать охлаждение, заменить термопасту на видеочипе (на простую китайскую), поставить наместо или заменить на аналогичные по толщине термопрокладки на чипах памяти. Далее, собрать радиатор, дать время на усадку 20-30 минут, затем, опять разобрать радиатор. Изучить пятно контакта термопасты на видеочипе и термопрокладок на памяти на предмет перекоса радиатора. По термопрокладкам, там где слишком толсто - раскатать существующую прокладку скалкой, там где слишком тонко - заменить на более толстые. По термопасте - слой должен быть минимальный по толщине и равномерен по всей поверхности чипа. Если отклонения были минимальные, то можно намазать уже качественную термопасту, поставить вымеренные термопрокладки по толщине и собирать окончательно охлаждение.