потому что мне нужна физика пули.
Тогда выкиньте юнитевую физику и пишите свою или подключайте что понадежнее. Юнитевая не детерменирована и результат может быть у нее разный на одной и той же симуляции.
И да, проблема именно в том, что у вас скорость объекта высокая - он за кадр пролетает объект полностью - т.е. столкновения как такового нет. Метод решения - проверка каждый кадр состояния "до-после" и рейкаст между этими точками. Если там был игрок - то вот )