Решением оказалось:

1. Удаление файлов gh-pages.yml и check.yml (и в целом папки - .github)
   
2. Установка зависимости в проект - npm i gh-pages -D
   
3. В package.json добавлены 2 скрипта -
   

   "predeploy": "npm run build",
   "deploy": "gh-pages -d build"

   
   
4. В vite.config.js добавлена строка:
   base: '/Название репозитория',
   
5. После git push origin дополнительно делаем - npm run deploy
   

Нашел решение в плагине - vite-plugin-svg-spriter, с ним все шикарно работает, инлайнит svg в самый конец body, и просто по id подключаюсь. И в dev и в build версии все работает. Изначально конечно был поиск плагина для сбора спрайта именно в виде отдельного файла, но и этот способ тоже хорош.