вы уверенны что это не разных четыре скрипты или разных четыре Plane касаются коллайдера.
а вот включение выключение кинематики - как раз может и заставляет пересчитать его, так то эти события не вызываются каждый кадр, а именно по входы выходу из коллайдера.