Подозреваю, что прежде всего проблема в огромных размерах игрового мира, ваш радар еле-еле в экран влезает, юнити на таком масштабе плохо работает. Во-вторых имеет смысл в
настройках Rigidbody поменять Collision Detection на Continuous или Continuous Dynamic, но учтите, что MeshCollider с такими настройками работать не умеет, так что его придётся заменить на сборный коллайдер из боксов и капсул. На худой конец можете триггеры заменить на ручной вызов
Rigidbody.SweepTestAll, возможно, результат будет лучше.