miXtik789

Ну если проблема появляется на телефоне , логично что проблема с плохой оптимизацией.
Как вариант можно поиграть с настройками Rigidbody, а точнее с Interpolate и Collision Detection, тогда объекты должны не проваливаться. Стоит написать фпс чекер и посмотреть нет ли паденийfloat fps=1/Time.deltaTime;

Вне зависимости от использования библиотек или фреймворка общая идея ускорения вывода большого количества примитивов или просто сложные объекты, есть разные подходы:
* кешировать результат, в твоем случае можно в памяти создать битмап и отрисовывать в него, тогда при перемещении окна просмотра в него перерисовывать объекты не понадобится
недостаток - при большом размере холста (в пикселах) будут повышенные требования к оперативной памяти
* частично кешировать результат, чем то таким занимаются разработчики/движки игр, когда далекие сцены, внешний вид которых не меняется при локальных перемещениях игрока, заменяются на заранее отрендеренный битмап (текстуру) и рисуют простой спрайт
В общем это перераспределение нагрузки между процессором и оперативной памятью, либо ты постоянно перерисовываешь все объекты на сцене либо ты это делаешь реже но хранишь все в памяти
* воспользоваться видеоускорителем, красивого решения именно для c# у тебя не будет, это вообще не подходящий инструмент. Смысл в том что современные видеоускорители, даже если это оффисный, встроенный в процессор, способны отрисовывать миллионы примитивов, но разработка приложения будет похожа на разработку игры, и готовые фрейамворки либо ограничат тебя в возможностях либо из-за того что используешь неподходящий инструмент, ты будешь тратить время на переходы от managed разработки до нативной
погугли .net using gpu acceleration
если ты готов к вендорлоку nvidia посмотри на их движок

using System;

class FirstClass
{
    public int Value { get; set; }
}

class SecondClass
{
    public FirstClass First { get; set; }

    public void ChangeValue(int newValue)
    {
        First.Value = newValue;
    }
}

class Program
{
    static void Main(string[] args)
    {
        var first = new FirstClass();
        var second = new SecondClass();

        second.First = first;
        second.ChangeValue(42);

        Console.WriteLine(first.Value);  // Выведет 42
    }
}

https://ru.wikipedia.org/wiki/ABBYY_FineReader
...и его аналоги

Если игроки будут в одной комнате, тоже общаться им запретите? Как контролировать будете?

По правильному - Никак. Тк это сторонее приложение и не Вам решать что еще запускать игроку на свое устройстве

Либо встраивайте отслеживание процессов и не давайте запускать игру если запущен дискорд или браузер

transform.position == old_position => объект_не_двигался

Ну прям сцену вы нормально в ресурсы не положите.
Но всегда можно использовать как хранилище информации о карте не юнитевые сцены, а свой формат - и тогда воротите что хотите.