Запоминать факт, что этот сторонний код был добавлен, и больше не добавлять. Можно просто не удалять тег.
В общем случае, этот код завернут в IIFE, и залезть внутрь него не получится. Если он не проверяет какие-то внешние флаги, не взаимодействует с внешними переменными и функциями, то никак. А если взаимодействует, то надо смотреть по ситуации, что там конкретно.
