Очень странное решение, делать обработку данных в excel.
Правильное решение - разобраться почему виснет, код ваш? вставь туда логирование, там же выход сделать принудительный проверяя время.
Если изнутри кода не получается/нет доступа, то тогда внешним скриптом, убивать процесс штатной windows утилитой taskkill, там можно убивать процесс по имени файла процесс .exe, или к примеру по заголовку. Пример скрипта:
ping -n 300 localhost
IF NOT EXIST result.xls taskkill /im excel.exe
Этот скрипт ждет 300 секунд (пингует localhost)
а затем проверяет наличие файла result.xls и если он не существует, убивает все процессы excel.exe
читай доку к taskkill чтобы подобрать правильное условие, если на сервере могут быть запущены другие нужные процессы excel, например ограничив пользователем windows /FI "USERNAME eq User"