Разобрался в проблеме, для этого в rigidbody нужно сменить тип обнаружения коллизии, у меня стоял дискретный (Discrete), что позволял вхождение коллайдеров в друг друга между кадрами. Нужно сменить на непрерывный (Continuous), здесь пересечение коллайдеров запрещенно, они возвращаются на позицию соприкосновения, но тут требуется больше ресурсов.