Думаю, ты используешь тут mesh collider с галочкой convex. Convex переводится как выпуклый. Mesh collider не умеет в не выпуклые. Если хочется не выпуклый, то нужен составной коллайдер. В объект вкладываются дочерние пустые объекты с коллайдерами, создавая нужную форму и они ведут себя как единое целое. Так можно получить желаемый результат.
