izuru_hitachi

в utf16 попробуйте сохранить и запустить =
utf16 это дефолтная кодировка widows poweshell

Всё что вам было нужно - взять в двойные кавычки - именно в них происходит интерполяция переменных

$Date = get-date -Format "yyyy-MM-dd"
Get-ChildItem -Path "I:\BACKUP\File_$Date*.bak"
# Если непременно надо подчёркивание, то переменную придётся выделить
# Get-ChildItem -Path "I:\BACKUP\File_$($Date)_*.bak"