Есть модуль child_process позволяющий запускать внешние приложения
Дальнейшие действия зависят от типа ОС, который можно узнать из process.platform
на osX ставим через brew
на linux анализируем вывод команды lsb_release и в зависимости от дистрибутива используем его пакетный менеджер
на винде качаем .msi и запускаем
на вин10 vlc есть в офф сторе, управлять которым можно с помощью PowerShell скрипта
так же добавлю, что в package.json в секции scripts можно указать задачу postinstall, которая выполнится автоматически после установки из npm