была подобная задача
нужно было делать определенные действия на хостинге и на хостах
так как весь мониторинг был построен вокруг Prometheus + Grafana + Alertmanager + куча експортеров, было желание прикрутить все в эту схему
решение которое покрыло все задачи
https://github.com/adnanh/webhook/
если коротко, есть alert rule c определенным label, когда правило сработало, alert manager через routes отправляет сообщение (POST) на receiver - webhook endpoint, чем и запускает execute-command которая настроена для этого webhook endpoint, а дальше как фантазия и возможности позволяют, у меня была работа по API c хостингом, запуск джобов через API на Ansible Tower, просто запуск команд через SSH