В Ta-Lib есть функция
stddev (
стандартное отклонение, среднеквадратическое отклонение). Кажется, это как раз та самая метрика, которую вы описываете в своём вопросе.
Т.е. чтобы при совпадении с прямой было 100%, нужно немного пошаманить с результатом, например, выдачу stddev нормировать на единицу, затем 1 минус ответ от stddev, и умножить на 100%, чтобы перевести в проценты.
А ещё, можно считать коэффициент корреляции между данными значениями и проекциями этих значений на линию тренда, например.