Не получается обратиться к элементу по его id.
А как вы это делаете? Вдруг неправильно? Почему не показали?
Просто по id (или с помощью любого другого селектора) обращаться нельзя, у внешних SVG отдельное DOM-дерево, оно доступно через свойство
contentDocument соответствующего object'а, т.е.:
const svgDocument = document.querySelector('object').contentDocument;
const element = svgDocument.querySelector('здесь указываете нужный id или что там вам надо');