docs.unity3d.com/ru/current/Manual/class-Rigidbody.html
...составные коллайдеры..
Для среднего телефона не должно быть непосильным, тем более в гонках трасса - сплошная статика ведь будет?!
Проблемы возникают , когда много физических тел "не спит", да еще и коллизиями других "будит"))
Да и самое простое - проверить ;) на том самом абстрактном среднем телефоне)