Единственный апгрейд видеокарты (железа) который имеет смысл и доступен - замена системы охлаждения на жидкостную (на али цены порядка 4-5 т.р., если собирать по частям) и экстремальный разгон.
Иначе только полная ее замена.
На что заменять, вопрос на миллион, и ответ зависит от ваших задач, а точнее под какую архитектуру оптимизирован софт, обычно речь идет о выборе между amd/nvidia. Выбор, что критичнее - количество шейдерных процессоров или частота оперативной памяти (и ее количество, но это совсем уже узкие задачи), ответить точно смогут только тесты, а эмпирически к сожалению тут ничего не сделаешь.