В мастере установки есть пункт — добавить пути в переменную PATH.
Либо вы забыли добавить, либо не перезагрузили компьютер после установки.
ВАЖНО! Git Bash должен быть установлен в папку C:\Program Files. При установке в другую папку подключить Git Bash к VSCode не получится. Так пишут в интернете.