Использование видеопамяти зависит от разрешения экрана и конкретной игры. Если видеопамяти не будет хватать, то, конечно, возможны просадки производительности, а вот если ее избыток - увеличения производительности вы не получите.
Просадки FPS возможны от перегрева видеочипа, что для ноутбука - наиболее вероятно.
Проверьте, прежде всего, температуру GPU.