Не знаю какое это имеет отношение к моему случаю (я не делал ничего на ангуляр), но решение нашлось в этой статье:
css.yoksel.ru/svg-angular-firefox
А именно: если добавить тегу SVG атрибут xml:base и в нем задать URL текущей страницы, иконки начинают работать вне зависимости от ссылки в base.
