Vladislav

Если в простое и при небольшой нагрузке шум удовлетворяет, а в нагрузке кулеры видеокарты шумные, то можно подумать об улучшении охлаждения внутри корпуса. Поставить доп. кулеры спереди/сзади/сверху/снизу внутри.
Если все время слишком шумные для вас, то тут уже лучше заменить видеокарту, т.к. сейчас нет такой популярности на кастомные системы охлаждения и для относительно средней видеокарты на текущий момент это слишком дорого выйдет.
+ Можете настроить как вы желаете систему разгона вентиляторов в msi afterburner.

Это либо брак железа, либо драйвер на видеокарту не допилен, либо игра просто криво сделана (или возможно пиратка/репак кривой) - если игре нужно больше видеопамяти чем есть у видеокарты, дополнительно резервируется часть оперативной памяти и ничего не крашится/не ломается/не выключается, просто фпс просядет и могут появляться подлагивания. Установите свежие драйвера на видеокарту, возможно в них это уже исправлено.
По поводу 6гб видеопамяти это они на бумаге столько и в рекламе, на деле возможно куда меньше, не обращайте внимания, это нормально. Стоит только вспомнить GTX 970 с её реальными 3.5 гб вместо 4гб.
Снова ответ в комментах к комменту.
Незачем трогать файл подкачки - у вас современное железо.

Из новых видеокарт, что можно купить и мощное - GTX 1650, например:

Но, ваш процессор очень слабый, такая видеокарта будет работать даже не на треть мощности, так как процессор давно будет загружен на 100%, поэтому можете поискать что-то на авито или порыться в магазинах в поисках видеокарт без доп. питания на подобии nvidia GTX 650, GTX 750, GT 1030, GTX 950, GTX 1050 или amd RX 550.

Процессор, что вы выбрали, работает с частотой шины 1600мгц и разогнать его будет трудно. Лучше потратьте 200 рублей лишних и купите E5440 или даже E5450 (которые работают на шине 1333) и сможете их на своей материнской плате разогнать до 3-3.3ггц спокойно, благо чипсет P35 позволяет.

Все комментаторы выше не правы - есть GTX 1650 без необходимости в доп. питании, она и является лучшим для вас варинатом. Исключая игры, этой видеокарты хватит с головой для ваших нужд и этих новых двух мониторов (3440х1440).

По наличию нужных портов для подключения 2х мониторов, каждый с разрешением 3440х1440, подходит лучше всего эта: https://market.yandex.ru/product--videokarta-palit... , так как для подключения только одного такого монитора нужно: либо сразу 2 входа HDMI, либо один DisplayPort, а у этой видеокарты 2 DisplayPort (по одному на каждый монитор) и еще 1 HDMI, сможете еще один монитор попроще докинуть сверху). Так как у видеокарты пассивное охлаждение, то вам нужен нормальный корпус с корпусными вентиляторами, минимум спереди и сзади, чтобы задувать холодный воздух спереди, прогоняя через радиатор этой видеокарты, и выдувать наружу горячий.

Пруфы (другие варианты GTX 1650 без доп. питания на Я.Маркете):
https://market.yandex.ru/product--videokarta-gigab...
https://market.yandex.ru/product--videokarta-asus-...
https://market.yandex.ru/product--videokarta-msi-g...

Прочитал в комментариях выше подробности, включайте V-SYNC (вертикальную синхронизацию) в играх.