У меня бывало похожее "субпиксельное" дёргание. Когда размер кадра был в разы меньше размера экрана и увеличивался при вводе. При этом перемещения камеры происходили не на целое число пикселей и при рендеринге округлялось то в одну, то в другую сторону. А после масштаба дёргалось уже на несколько пикселей, а не на один и было сильно заметно. "Починил" округлением координат камеры до целых пикселей.
Не знаю, такая ли проблема у вас, но может поможет.
