Попробуй юзать в моментах где используется RigidBody и физика вместо Update на FixedUpdate
Иногда из-за оптимизации и фпс игра не успевает что то просчитать и такое происходит, но FixedUpdate устраняет это.
Если это не сработало, то в строках где есть Rigidbody прописывай * Time.DeltaTime. Так он будет точно просчитывать все независимо от фпс.
Напиши мне потом сработало или нет