Указанный порт он либо открыт (тогда он захвачен каким-то одним приложением) либо закрыт. С помощью WinAPI можно получить ID процесса захватившего порт, не знаю можно ли это сделать на ява, но в любом случае это уже будет платформозависимое решение.
Есть команда cmd, которая показывает порты и ID процесса: netstat -o
Можете распарсить ее вывод.
Проще, наверное, использовать какие-то другие механизмы для отслеживание работы сервера, например можно запросить список процессов и проанализировать их коммандные строки, либо сервер создает какой-либо глобальный именованый объект, а вы проверяете его существование: например именованный мьютекс, канал, файл и т.п.