Вы наверное не знаете как очищается кеш.
Сначала битрикс получает все директории первого уровня кеша.
Затем он рекурсивно заходит в каждую директорию и удаляет каждый файлик (в случае если удаляется все, в случае если только устаревшее он еще и сверяет дату с текущей).
Ресурсы в основном тратятся на получение списка директорий/элементов, а не на удаление.
Если Вы хотите быстро удалить весь кеш, то лучше зайти на сервер и удалить содержимое папок: /bitrix/cache, /bitrix/managed_cache и /bitrix/stack_cache