Можно проверить тег...
if (collision.gameObject.CompareTag("Player"))
{
Destroy(collision.gameObject);
}
Ну либо сравнить обьекты...
if (GameObject.ReferenceEquals(collision.gameObject, targett))
{
Destroy(targett);
}
Либо настроить слои, что бы нужная вам колизия колайдилась только с колизией игрока...
https://docs.unity3d.com/Manual/LayerBasedCollisio...