Нужно в файле %AppData%\..\Local\Programs\Microsoft VS Code\resources\app\out\vs\workbench\workbench.desktop.main.js в функции doGetWindowTitle() убрать ${e.NLS_USER_IS_ADMIN} и ${e.NLS_UNSUPPORTED}, правда VSC начнёт ругаться на изменения при запуске, но это уведомление можно отключить.