Нашел решение в плагине -
vite-plugin-svg-spriter, с ним все шикарно работает, инлайнит svg в самый конец
body, и просто по id подключаюсь. И в
dev и в
build версии все работает. Изначально конечно был поиск плагина для сбора спрайта именно в виде отдельного файла, но и этот способ тоже хорош.