Это если даст переименовать, а не скажет "Файл используется другой программой".
Для таких неудаляемых файлов есть прога Unlocker. Ставите, она добавляется в контекстное меню. Дальше ПКМ по файлу ...
У меня есть флешка с Linux Mint, с нее можно удалить вообще что угодно, даже то, что Unlocker не может.