В общем торговые терминалы делают это используя
фильтр Калмана.
Но как и оговорил выше, я был уверен, что тут не нужна такая глубокая аналитика и нашёл решение проще:
Усреднение позволяет сохранять состояние WARNING на протяжении нескольких проверок, что в общем-то и требовалось:
Ради интереса попробовал ещё 50 перцентиль, но слишком быстро "затухает" состояние WARNING, простое усреднение подошло лучше всего. Таким образом мониторинг успевает заметить, что произошло нечто аномальное (алерт прилетает только после четырёх неудачных проверок) и fals positiv теперь нет.