Проблема может быть в том, что проц не справляется. Т.к. не только GPU участвует в процессе создания кадра. Тем более, если нагрузка падает при скоплении людей. Люди, а точнее, объекты - это задача процессора. Чем больше объектов, тем больше нагружен центральный процессор.
Объясню подробнее. Движок имеет грубо говоря список всех объектов. Для построения кадра, нужно пройтись по такому списку. Ходит по циклу именно центральный процессор. Он вычисляет, что показывать и когда и отдает команду GPU для того, чтобы вон там вывести объект, вот с такой текстурой. Далее, если объект обладает логикой, в отдельном потоке (тоже ЦПУ) обрабатывает логику, т.е. жизненный цикл объектов. GPU в этот момент может пинать те самые резиновые...
Запусти игру и посмотри все показатели нагрузки, а не только GPU.
