С помощью какого инструмента разумно совместить мониторинг и whitebox-тестирование?
Всем привет!
Возникла необходимость дополнить функционал Prometheus (в комплекте с Grafana и AlertManager) для решения задачи мониторинга ресурсов/сервисов с параллельным тестированием функционала: например, валидировать данные, отдаваемые СУБД при тестовых запросах; проверять факт отдачи корректного контента веб-сервером (а не только его up/down-статус); обращаться к методам API c проверкой ответа. И в случае неудачи так же генерировать алерты, использовать автоматизацию и так далее.
Пока видятся три способа: создавать новый плагин, расширять возможности существующих или применять какой-либо внешний инструмент, более пригодный изначально для решения описанной задачи, а потом интегрировать (или не интегрировать) его с мониторингом.
Решал ли кто-либо подобную задачу и, собственно, с помощью какого инструмента (набора инструментов или методологии, желательно open source) разумно совместить мониторинг и синтетическое/whitebox-тестирование?