Если источник события удалили, то зачем что-то делать с подписчиками? Подписчики удалятся только если источник события является их родителем в иерархии. Если подписчики не хранят ссылку на объект, то делать ничего не нужно. С другой стороны, если вы удалили подписчика не отписавшись, то да, у источника события будет ссылка на убитый объект, и тогда будет утечка памяти. В таком случае подписчик перед смертью должен отписаться, но UnityEvent реализован таким образом, что он мёртвые подписки не вызывает, так что сами решайте, если время жизни объектов сильно разнится, то отписывайтесь.