Слишком большая скорость, объект проходит через колайдер и не успивает просчитать своё положение. Видел на ютубе урок, в котором предлагали строить линию из прошлого положения в текущее и проверять, не пролетел ли объект.
Как вариант, можно проверять не находится ли один объект в другом, и выбрасывать его.
