Во-первых для дальнейшего использования программы вам нужно скомпилировать ее в конфигурации Release. Какие дефолтовые настройки стоят для каждой из конфигураций можно посмотреть в файле проекта.
*.pdb это не странные файлы, а отладочная информация, если я не ошибаюсь, в Release конфигурации они по-дефолту не создаются. Если все таки они есть - можете спокойно их удалять.
.vshost.exe.* - это файлы помощника студийного дебаггера. Для самостоятельной работы программы они также не нужны.
.exe.config - потребность в этом файле зависит от того, что в нем написано. Если не понимаете, что там - лучше оставить его и поставлять с программой (там, например, могут быть редиректы версий сборок).
*.xml - если это не ваши xml-ки, то обычно это автосгенеренная документация. Если у вас приложение, а не библиотека, можете убрать их из поставки.
Насчет остального должны знать сами. А вообще, изучайте инструмент, которым пользуетесь, если уже дошли до этапа поставки приложения (если конечно у вас не лабораторка там :) )
