Не уверен, но можно попробовать по очереди сообщений. Диспетчер задач получает очередь приложений по перерисовке и смотрит как быстро они оттуда исчезают. Если приложение не GUI, то вряд ли как-то удастся отследить. Такое приложение может работать в фоне, ждать события, может отвечать на команды посланные через сокет и многое другое (никакие события ОС не посылает). А вот если GUI, то не перерисовывающиеся окна можно как то отловить. Либо через GUI через сообщения какую-то инфу пытается прочитать.
Вообще лучше изучить структуру приложения и понять, какие файлы и как оно расходует память при работе.
Если память не расходуется или не пишутся сообщения в файл, то такое приложение могло подвиснуть...