Если удалить проект из солюшена, то связанная с ним папка не удаляется.
Соответственно, чтобы удалить файлы, это нужно делать физически через «проводник».
На счёт веток не понял вопрос. Если речь про git branches, то удаление для git — это обычный коммит, он попадет в другие ветки только при merge. Если ветку с удаленной папкой проекта смёрджить во вторую, то во второй файлы удалятся, если нет — не удалятся.
При переключении с ветки, где папка проекта удалена на ветку, где она есть, файлы гитом создадутся в состоянии, в котором они были залиты в ту ветку.
При переключении обратно — файлы должны удалиться.
Есть шанс, что файлы не удалятся, если переключаться с ветки, где папка есть и добавлена в репозиторий в ветку, где этого проекта с папкой и файлами никогда не было.