Сделать это штатными механизмами не получится.
Хотя реализовать можно.
1)Написать скрипт, который будет проверять наличие запущенного приложения и на основании проверки запускать или не запускать программу. Ну а пользователю вместо ярлыка запуска программы ставим ярлык на этот скрипт.
2)Если речь о браузере - Firefox сам проверяет не запущен ли уже, и если запущен, то просто открывает новое окно.
Поэтому в принципе достаточно запретить в настройках создание новых окон и ограничить доступ к настройкам.