В nodejs для этого есть модуль child_process:
https://nodejs.org/api/child_process.html
Если нужно запустить программу по нажатию кнопки в браузере, то сначала нужно, чтобы нужная программа зарегистрировала для себя протокол для ссылок в ОС - тогда можно будет переходить/запускать эту программу при помощи перехода по обычной ссылке