Как посчитать серьёзность отклонения числа от набора других чисел?

Question

[historydev]

x = 22;
others = [27, 43, 17, 5];

Прочитал про среднеквадратичное отклонение, не уверен что это то что мне нужно, но реализовал так:

function deviationFromOthers(data, x) {
  const others = data.filter(v => v !== x);

  const mean = others.reduce((s, v) => s + v, 0) / others.length;

  const variance = others.reduce((s, v) => {
    const d = v - mean;
    return s + d * d;
  }, 0) / others.length;

  const std = Math.sqrt(variance);

  return {
    delta: x - mean,
    z: (x - mean) / std
  };
}

console.log(deviationFromOthers([27, 43, 17, 5], 22)); // {delta: -1, z: -0.07179581586177382}

-0.071 это много или мало, или вообще ничего не значит на таком незначительном наборе данных?

Comments

[Василий Банников]

Серьезность уже ты сам как эксперт должен определить.

А статистические методы могут тебе сказать, укладывается ли твоё число в какой-то интервал или нет, или на сколько сильно оно далеко от какой-нибудь моды.

others - это "случайная величина".
Те четыре числа из примера - это результат этой случайной величины.

Сразу вопрос:
x - это тоже результат случайной величины или это просто какое-то левое число?

Какой вопрос ты задаёшь, что считаешь, что "серьезность отклонения" - это ответ на твой вопрос?

Среднеквадратичное отклонение показывает, на сколько рассеяна случайная величина относительно матожидания. Тоесть оно даёт какой-то ответ про "others", но не про "x".

Ну и да, выборка из четырёх чисел - скорее всего любые выводы из такой выборки будут ошибочные.

Читай про теорию вероятности и мат статистику.
https://habr.com/ru/companies/raft/articles/857064

[historydev]

Василий Банников, На кнопку в день нажимают N раз, каждый день мы сохраняем это число в набор, в очередной из дней мы решаем проверить отклоняется ли текущее N от остальных и на сколько.

[Rsa97]

historydev, В таком случае надо строить гистограмму распределения N и смотреть характер этого распределения.
Например, это может быть колокол гауссианы, прямая равномерного распределения или что-то ещё. Уже потом можно делать выводы, насколько данное значение укладывается в такое распределение, выходит ли оно за какие-то пределы (например две сигмы в гауссиане) или нет.
И да, строить что-то по четырём значениям бессмысленно. Хорошая статистика начинается на сотнях, а лучше тысячах значений.

[historydev]

Rsa97, Спасибо, почитаю

[Василий Банников]

historydev,

отклоняется ли текущее N от остальных и на сколько.

А что считать значением, которое попадается в остальные дни, если каждый раз разное количество и это можно считать случайным числом, которое больше не попадётся?

[historydev]

Василий Банников, Не понял вопроса

[Василий Банников]

historydev, что вы собираетесь делать с "отклонением"?

[historydev]

Василий Банников, Примитивно оценивать: плохо/отлично/средне

[Василий Банников]

historydev, и что считается за "хорошо", что за "отлично", что "средне"?

[historydev]

Василий Банников, если 0 - это плохо, а 1 - это средне, то 0.5 - отлично.

Например в расчётах из вопроса я не понимаю к чему отнести результат.

Answer 1

[Rsa97]

Для начала математически определить, что такое "серьёзность" отклонения. Это зависит не от чисел, а от той модели, которая лежит в их основе. В вашем случае, например, я вообще не вижу никакого отклонения, поскольку 22 явно попадает в диапазон возможных значений 5...43.
Скорее всего, у вас проблема XY и вы ищете решение не той задачи.

Comments

[historydev]

ля начала математически определить, что такое "серьёзность" отклонения.

Например?

[pfg21]

historydev, по текущему тз у тебя нет отклонения, ибо "22 явно попадает в диапазон возможных значений 5...43"

чтобы решить задачу, надо четко прописать что такое "отклонение" цифры от ряда.

[historydev]

pfg21, Как это сделать?

[Rsa97]

historydev, Понять смысл этих чисел. Пока вы работаете с абстрактными величинами, ими можно жонглировать как угодно. Смысл все действия приобретают когда вы понимаете, что за этими числами стоит в реальности.
Что такое эти ваши "22"? Года? Попугая? Метра в секунду? Рубля за доллар?
Что именно вы пытаетесь найти, сравнивая 22 со значениями в массиве? В чём реальный смысл этого сравнения?

[historydev]

Rsa97, Каждые две недели производится удаление корзин пользователей удовлетворяющих условиям, количество удалённых корзин и есть 22, и оно же с предыдущих недель в наборе.
- Перед тем как приступать к отладке поведения, нужно выяснить является ли оно аномальным.

Например если пол года был диапазон X-Y при кол-ве пользователей N, а сейчас мы получаем Z далеко выходящий за пределы X-Y в любую из сторон, при том-же кол-ве пользователей N - это очевидная аномалия.

[Rsa97]

historydev, Как я уже написал в комментариях, надо строить гистограмму распределения значений, смотреть тип распределения, потом делать выводы. Учитывая интервал в неделю, что-то определённое можно говорить через год-другой накопления статистики.
Ну и помнить, что статистическая аномалия может являться артефактом внешних условий. Например, в длинные новогодние праздники отклонение может быть существенным, но вполне предсказуемым.

Answer 2

[Максим Припадчев]

Ну считаешь ты в итоге z-score (на сколько стандартных отклонений ты выше или ниже среднего). Для z -статистики минимум 30 наблюдений должно быть, плюс нормальное распределение должно быть.

Обрати внимание на свой вопрос и то что ты считаешь. Если бы было достаточно, наблюдений, то такой z-score был бы статистически не значимым.