Схема примерно такая: проверяете запущена ли уже программа (это можно и через батник)
В зависимости от результата проверки запускаете ее или активируете уже имеющееся окно.
Для именно активации окна одного лишь батника, без сторонних программ, не хватит.
В wsh есть метод wsh.AppActivate() который проставит фокус на нужное окно по заголовку, например
var wsh = WScript.CreateObject("WScript.Shell");
wsh.AppActivate("Notepad");