Вероятно что-то тормозит выполнение программы, что влияет на цикл обработки изображения(render-а) из за чего и происходят задержка отклика. Вероятно у вас не новый телефон и поэтому программа тормозит. Как оптимизировать свою игру(я так понял вы пишете на unity) можно прочитать
здесь или на
хабре. Остальное можете найти в гугле.