Ну если проблема появляется на телефоне , логично что проблема с плохой оптимизацией.
Как вариант можно поиграть с настройками Rigidbody, а точнее с Interpolate и Collision Detection, тогда объекты должны не проваливаться. Стоит написать фпс чекер и посмотреть нет ли паденийfloat fps=1/Time.deltaTime;