vscode держит там свои специфичные для проекта настройки.
Удалять её не следует, тк тогда может нарушиться работа каких-то расширений.
Если не хочешь, чтобы она попадала в репозиторий - добавь её в gitignore.
Для понимания, что именно там сохранилось - надо смотреть