Как выявить сильное отклонение в массиве?

Question

[Сергей Миронов]

Есть массив с ценами:

$prices = array(
'10300',
'10200',
'1250',
'1260',
'1240',
'1140',
'20',
'30'
);

Нужно выявить отклонение от средней цены.
Т.е. значения 10300, 10200, 20, 30 должны быть удалены.
Помогите с алгоритмом.

Comments

[Алексей Уколов]

Давайте для начала дадим числовое определение слову "сильное" отклонение.

[Сергей Миронов]

Больше 100% от среднего значения

[Даша Циклаури]

Сергей Миронов, непонятно почему должны быть удалены крайние? это требование отсекать только по краям? или мы сначала ищем наиболее длинную "стабильную" последовательность?

[Сергей Миронов]

Даша Циклаури, нет, необязательно крайние, они могут быть в любом порядке

[Даша Циклаури]

Сергей Миронов, хорошо тогда можно решить за два прохода по массиву:
1) первый проход - суммируем все элементы и в конце делим на кол-во, получаем среднее по больнице
2) второй проход - на каждой итерации берем разницу среднего и текущего по модулю и делим на среднее, если больше 1, то удаляем

[hint000]

Сергей Миронов,

Больше 100% от среднего значения

в вашем примере среднее =3180

Т.е. значения 10300, 10200, 20, 30 должны быть удалены

по вашему же критерию должны быть удалены абсолютно все значения. 1260*200% < 3180.
Замечаете проблему?

[Даша Циклаури]

hint000, автор пока сам не знает чего хочет

[Сергей Миронов]

hint000, от среднего значения не учитывая значения сильного отклонения. Т.е. берем среднее только из этих цифр

'1250',
'1260',
'1240',
'1140',

Вообще про 100% от среднего надо забыть, это я куратору написал, который придрался к слову "сильное".

Есть массив цен, цены 10300, 10200, 20, 30 должны быть удалены. Нужен алгоритм

[Сергей Миронов]

Даша Циклаури, хороший вариант для цен, которые больше, но для тех, которые меньше не подходит. Для 20 и 30 получается 0,99 и проходит отбор, хотя не должен

[Даша Циклаури]

Сергей Миронов, тем не менее, если нужен алгоритм, но не даны адекватные референсы, то давай исходить из прикладной задачи
правильно понимаю, что это биржа какая-то и нужно следить за изменением цен товаров? или же по набору цен определить оптимальную?

[Сергей Миронов]

Даша Циклаури, это набор цен одного и того же товара в разных магазинах.

В некоторых магазинах продают сильно дорого, в других сильно дешево (в силу разных причин) и есть остальные с адекватными ценами.

Нужно оставить выборку цен только из адекватных магазинов, а потом уже среди них выявить среднюю цену.

Если мы сейчас выявим среднюю цену сразу со всех магазинов, получается 3180 р, что не совсем верно отображает средние цены по рынку в адекватных магазинах. Средняя цена среди адекватных магазинов получается 1222,5 р. Вот это значение и нужно найти.

[Даша Циклаури]

Сергей Миронов, следующий вопрос: у нас есть 10 магазинов, цена на последующем изменяется линейно, скажем так 1000...10000 с шагом в 1000. Какая ожидаемая вилка?

[Даша Циклаури]

Сергей Миронов, мне вообще почему-то кажется, что задача непростая, и очень много факторов неоглашенных, например кто является игроками на рынке? как действовать в случае спекуляции и так далее. Тут явно нужно применять что-то из теории игр, а в первую очередь изучать.

[Сергей Миронов]

Даша Циклаури, такой вариант отбрасываем, на практике его не бывает. Всегда будет основная линейка адекватных магазинов и выбивающие из основной линейки неадекваты

[Даша Циклаури]

Сергей Миронов, окей, тогда предлагаю такое решение:
раз критериями является выброс цены за пределы нормы (или сильно высокая или сильно низкая), то
- сортируем массив цен по неубыванию
- на каждой итерации считаем разницу со следующим соседом, должно получиться N-1 разниц
- идем в обе стороны из середины массива, как только встречаем резкое изменение (крутим ручки коэффициентов), то отбрасываем все хвосты начиная с данной позиции

[Даша Циклаури]

Сергей Миронов, это короче расчет первой производной на каждой итерации и откидывание, если угол наклона зашкаливает

[Сергей Миронов]

Даша Циклаури, есть цена закупки. Мы можем взять все что ниже этой цены и отсеять сразу. Низкие цены отсеются, останутся только неадекватно высокие. Значит выборку по вашему алгоритму идем не с середины, а с самой низкой цены вверх. Дальше нужно понять, на каком этапе будем отсеивать. Надо подумать.

[Даша Циклаури]

Сергей Миронов, ага, отсеивать как только был первый резкий скачек, соответственно все что дальше тоже не подходит, по соображениям отсортированности
как проверять скачек- это угол, построенный по 3м точкам: текущее значение, минимальное значение, точка пересечения нормали из текущего к оси Х и нормали из минимального параллельно У

Answer 1

[Developer]

Математическое ожидание
среднеквадратичное отклонение

Comments

[Сергей Миронов]

Получил среднеквадратичное отклонение 4111. Что с этим делать дальше?

[Developer]

обратись к своему преподу, ученик.
Он бесплатно тебе ответит

Answer 2

[dollar]

В идеале вам нужно как-то посчитать себестоимость. По весу, по материалу товара, по его бренду, стране сборки и т.д. Затем прибавить условные 20%. Это будет "красная" цена (не путать со средней).

Далее вам нужно определиться, какое отклонение допустимо.

• Например, оно может быть выражено в процентах от красной цены. Скажем, плюс-минус 40% - ок.
  
• Другой пример, когда мы смотрим соседние цены, и если очередной скачок цены превышает 10%, то считаем, что продавец оборзел, а значит и все после него тоже борзые - отсекаем.
  
• Любой другой числовой критерий. Это может быть комбинация вышеуказанных способов или ещё более сложная формула.
  

В статистике такие неудобные значения называются выбросами. Их принято исключать из выборки, потому что они портят саму статистику своей полной неадекватностью. Но вот критерий этой самой неадекватности определяете вы сами. Для этого важна природа изучаемого явления, а не просто голые числа. Конкретно про ваши числа известно, что это цены. На этом факте и построена логика моего ответа.

Comments

[Сергей Миронов]

Себестоимость есть, но ценообразование у товаров всегда разное. Есть маленькие товары до 100 руб, на которые 300-500% крутят и продают, есть товары дороже, где 10-30% накрутка.

[dollar]

Сергей Миронов, в маленькие вроде закладывают стоимость доставки (и не только). Например, сама доставка бесплатная и есть минимальная сумма, на которую нужно заказать.

Соответственно, можно как-то понять формулу (для каждого магазина может быть своя) и вычитать стоимость доставки.

Либо не париться и просто считать 300-500% нормой. То есть так и считать: для маленьких - одна наценка, для средних - другая, для дорогих - третья и т.д.

[dollar]

Там ещё вездесущие акции могут быть. И поди разбери, какую цену брать в расчёт: ту, что со скидкой, или ту, что без скидки. Ведь это может быть не временная скидка, а просто уловка (вечная скидка).

А кто говорил, что будет легко?)

[Сергей Миронов]

dollar, со скидкой беру. Легко, не будет)

Answer 3

[wassapman72]

из комментариев: если убирать все числа у которых отклонение больше 100% от среднего, то 20 и 30 останутся.
потому просто просто Threshold нужный подбирайте, можете его на $avg завязать.

$prices = array(
'10300',
'10200',
'1250',
'1260',
'1240',
'1140',
'20',
'30'
);
$avg = array_sum($prices)/count($prices);
$threshold = 2100;

$result = array_filter($prices, function ($p) use ($avg, $threshold) {
return $p < ($avg + $threshold) && $p > ($avg - $threshold) ? $p : false;
});

var_dump($result);