Если API по протоколу HTTP работает - можете в
jmeter накидать тестплан, данные можно отгружать в
influxdb и красиво визуализировать в
Grafane. В Grafanу же можно
пристегнуть данные мониторнга
zabbix. Можете в метриках настроить трешхолды, при превышении которых на дашобрде они поменяют цвет. Есть
форк графаны с возможностью делать
алерты и нотификации - raintank.