Remove-Item не подойдет?
get-help remove-item -examples
-------------------------- ПРИМЕР 1 --------------------------
PS C:\>remove-item C:\Test\*.*
Эта команда удаляет все файлы с именами, содержащими точку (.), из каталога C:\Test. Так как в команде указана точка, она не удаляет каталоги и файлы без расширений.
