Увеличить объем ОЗУ - хорошая идея. 16gb должно хватать, если остновная цель - "раст и прочие стрелялки".
Вложиться в видеокарту тоже идея хорошая. Это даст максимальный прирост производительности в играх (от замены процессора выйгрыш будет не таким большим).
Видеокарты +- все одинаковые (я имею ввиду в рамках одной серии). Дорогие от дешевых отличаются возможностями разгона, но сам разгон редко дает ощутимого прироста производительности, а вот стабильность снижается. Так что берите самую дешевую.
С RX 580 можно расчитывать на 60fps в FullHD на максимальных. Тестов в интернете полно. Учтите, что блок питания у вас должен быть минимум 600W. Если меньше, заложите бюджет для его обновления тоже.
Монитор с VGA входом я бы поменял в первую очередь. Пожалейте глаза - их не заменить.