Простите, а зачем вы хотите отлаживать в VS Code? Это же по сути текстовый редактор с подсветкой синтаксиса. Вам лучше воспользоваться полноценной VS c соответствующим плагином для GDB или на стадии после сборки использовать cv2pdb для того что бы конвертировать дебажные символы в PDB формат. Тогда вы сможете проводить отладку в полноценной IDE от мелгомягких. Как вариант можно перейти на QtCreator или Clion или другие IDE с поддержкой GDB/

Можно https://github.com/tinysun212/swift-windows

Собирается по инструкции, проверено на Windows 7SP1 x86_64 + MSYS2-mingw-w64
Собирается из ветки upstream-with-windows (та же для всех зависимостей clang, llvm, .etc)

Автор пока не собрал релиз, содержащий модули Foundation а так же SwiftPackageManager, однако есть MinGWCrt модуль обеспечивающий поддержку стандартной библиотеки С (mingw-w64), так же не составляет большого труда сделать модуль для поддержки WinAPI

Так что если вам не нужен именно тот Swift который используется в Apple Xcode, а интересен сам язык для изучения и вам достаточно поддержки С stdlib и других Сишных библиотек, то вполне подойдёт.