Суть - будь то столкновение типа Collision или ControllerColliderHit, у обоих можно достать свойство gameObject, к которому и отосится искомое вами свойство.
private void OnCollisionEnter(Collision c) {
if (c.gameObject.layer == 6) { // порядковый номер искомого слоя
// do anything
}
}