Воспользовался предыдущим вариантом и у меня просто открывался Vs code с последним состоянием (не открывалась папка, в которой находился)
Возможно из-за того что у меня VsCode установлен не в папке по умолчанию, а на другом диске

Решил так:
1. Создал файл vscode.bat c таким содержимым

code -r .
/c

Команда code -r . также работает в консоли и открывает Vs code из папки

2. Зашел в Редактор Реестра (win+R и regedit)
В папке \HKEY_CLASSES_ROOT\Directory\Background\shell\vscode\command
значение по умолчанию поменял на путь к vscode.bat (у меня это C:\Users\user\Desktop\vscode.bat), поменяйте его в зависимости где у вас находиться .bat файл


Точно также поменял путь по умолчанию в папке \HKEY_CLASSES_ROOT\Directory\shell\vscode\command

И все заработало!
Теперь при нажатии в контекстном меню Open Folder as VS Code Project на секунду открывается терминал и запускает Vs Code в нужной папке.