Не знаю, поможет ли это в вашем случае, но вы можете попробовать:
1. Внутри объекта по иерархии создаёте пустышку. вешаете ей коллайдер и твёрдое тело
2. Твёрдому телу ставите Body Type = Kinematic (для 2д) или Is Kinematic = true (для 3д)
3. Выставляете объект так, чтобы пуля ударилась сперва о его коллайдер.
Как бонус, вы можете сделать несколько таких объектов (для рук, ног, головы, тела) и передавать скрипту игрока разные коэффициенты урона. Типа, например, попадание в руку 20%, а в голову 150%.