Не совсем то, что искал, но есть плагин
AutoStop.
Позволяет останавливать тест при следующих условиях:
- Среднее время ответа на протяжении N секунд превысило заданное значение
- Среднее задержка при запросе на протяжении N секунд превысило заданное значение
- Процент ошибок запросов на протяжении N секунд превысило заданный процент