rPman

Это возможно.
Делите видео на две части (длительность каждого должны соотноситься приблизительно как соотносятся производительность кодирования на cpu и gpu), и запускайте их кодирование сразу двумя процессами, с разными настройками использования cpu и gpu соответственно. По окончанию их работы, сливайте результат без перекодирования в один файл (некоторые контейнеры это позволяют делать простым копированием, например ts).

Как вы ведите, таким образом можно распараллелить обработку видео не только в пределах одной машины и ее видеокарт (если софт не может или к примеру gpu разных производителей), но и нескольких. Замечание - каждая часть должна быть длиннее и кратна расстоянию между ключевыми кадрами (обычно это порядка 4-10секунд), это не обязательное но желательное для эффективности результата.

Единственный апгрейд видеокарты (железа) который имеет смысл и доступен - замена системы охлаждения на жидкостную (на али цены порядка 4-5 т.р., если собирать по частям) и экстремальный разгон.

Иначе только полная ее замена.
На что заменять, вопрос на миллион, и ответ зависит от ваших задач, а точнее под какую архитектуру оптимизирован софт, обычно речь идет о выборе между amd/nvidia. Выбор, что критичнее - количество шейдерных процессоров или частота оперативной памяти (и ее количество, но это совсем уже узкие задачи), ответить точно смогут только тесты, а эмпирически к сожалению тут ничего не сделаешь.