Как определить большинство и меньшинство по числовой характеристике?

Question

[forced]

Допустим, есть расстояние каждого человека от условной точки из совокупности в 90 человек
ну пусть это значения от 1 метра до 8м
и есть несколько (или 1) 10, 15, 100 и т.д метров

нет данных о конкретных значениях (т.е сравнительный показатель это уровень, например, разброса между большинством и разброса между меньшинством)
и я пока не понимаю как отделить одно от другого

п.с со статистикой знакомлюсь впервые, потому пытаюсь оперировать простыми терминами

я наверное ввел в заблуждение сказав, что известен уровень (т.е %). нет, из доступные только набор данных, значения которого заранее неизвестны
можно лишь только предположить что их дельта относительно друг друга будет невелика (это принимаем за большинство), а в другом случае дельта может быть огромной (как между значениями меньшинства т.е 15 и 50 метров, так и на переходе большинство-меньшинство т.е 6 и 150м)

Answer 1

[Максим Припадчев]

Как определить большинство и меньшинство по числовой характеристике?

Если требуется точный ответ это не вопрос математической статистики. Математическая статистика она оценивает (дает приблизительную оценку с какой то степенью уверенности), но ничего не находит.

Мы имеем данные случайную выборку (если она случайная, это требование, а не пожелание) и распределение откуда она была сделана, например нормальное распределение (нет никаких гарантий что ваше распределение нормально, возможно любое другое, я беру для примера.)

У каждого распределения есть параметры, например у нормального это среднее арифметическое значение (μ) и Среднеквадратическое отклонение, часто называют стандартным отклонением (σ).
На основании выборки с определенной степенью уверенности "оценивают" параметры распределения из которого была сделана выборка и затем обладая этими данными можно производить любые расчеты. Например, на графике выше по серединке это среднее отклонение людей от точки, стандартное отклонение это дистанция на сколько отклоняется. Например +- одно стандартное отклонение от среднего это 68% человек.

Так вот это не в коем случае не решение вашего вопроса, это фреймворк о том как мыслить.

Ваше распределение не известно, его нужно оценивать. И нормальное здезь не подойдет потому что ни какой симметрии у вас нет. От 1 метра и выше, то есть распределение будет другое его надо оценить, первый кандидаты это экспонентное распределение , и им подобные. Потому что мы имеем некое скопление и затем чем дальше тем меньше вероятность (как я понял).

Что бы ответить на ваш вопрос надо произвести моделирование распределения и оценку его параметров. Потом мы можем отвечать что например 5% процентов людей будет на расстоянии от например 20-25 метров. Или любые другие вопросы.

Comments

[forced]

Там человек в самом конце сказал про кластеризацию... полез искать - самый первый попавшийся алгоритм
k-средних (k-means)
я попробовал его и он действительно работает так, как мне нужно.
я хотел бы узнать, а чем кластеризация отличается от поиска типа распределения с последующим анализом ее свойств и прочего?
и допустимо ли в принципе использовать кластеризацию в моем случае?

[Максим Припадчев]

forced, Кластеризация это задача на определение структуры данных (кластеров). Для деления их по группам. В мире машинного обучения есть деление supervised learning и unsupervised learning, кластеризация относится ко второму "обучение без учителя". k-means это один из алгоритмов для задач кластеризации.

1. Мы говорим о моделировании в любом случае и если что то работает как вам нужно значит это то что вам нужно. (Если кластеризация решает ваш вопрос значит используйте ее)

2. По гуглите тогда классификацию, если у вас например малое количество групп. Если группы две в которые надо классифицировать людей то logistic regression решит вопрос прекрасно, еще и будет высокая степень интерпретации модели.

3. Моделирование распределения дает вероятности нахождения в любом интервале которые вы можете использовать в дальнейшем для нахождения ожидаемого количества людей на любом интервале в то время как классификация используется для определения вероятности нахождения в той или иной группу может больше двух.

4. K-means может быть использован как для классификации так и для кластеризации. Но это разные вещи, кластеризация не сортирует по группам - она потенциально показывает структуру данных что оно возможно рассортировать по группам, по этому исходя из из условия как я его понял кластеризация может служить вспомогательным шагом но не решением.

5. Нужно ли это, смотрите сами, в чем конкретно задача иметь возможность раскидать по группам тогда можно посмотреть на кластеризацию и дальнейшую классификацию. Кластеризация это глянуть на структуру но не распределять распределять по группам это классификация.
Или иметь вероятности например какая вероятность нахождения одного человека в интервале 25-30 м. Получили вероятность затем умножили эту вероятность на общее количество людей округлили до целого и имеем ожидаемое количество людей в интервале, если в эту строну это моделирование распределения.

Итого:
1. распределять по группам это классификация (кластеризация как вспомогательный шаг, не факт что нужный).
2. На вход любой интервал на выход ожидаемое количество людей в интервале или вероятность как хочется это моделировать распределение.
Что вам подходит решать вам, я всей задачи не видел.

[forced]

Максим Припадчев, ого, спасибо большое за кладезь информации, обязательно пойду разбираться!

а так если интересно... то задача смешная.

студенты находятся в аудиториях. их местоположение я собираю через gps, в том числе и преподавателя (точка, от которой все удалены в аудитории)
по формуле Хаверсина - получаю расстояние от нулевой точки (преподавателя) до каждого человека.
так вот, данные могут поступить со всех людей. заявлено в аудитории 90 человек, а по факту хз... 50
40 человек в отгуле. я имею их местоположение и разумеется оно будет больше до нулевой точки, чем человека в аудитории.

собственно мне и нужна классификация - чтобы я мог отличить кто действительно сидит в аудитории, а кто гуляет.
а точность нужна чтобы исключить ситуацию когда я стою за дверью здания :)

[Максим Припадчев]

forced, Ну и еще раз классификация мы уже имеем группы до анализа и хотим распределять. Кластеризация мы "находим" эти группы в данных мы не знаем сколько их мы пробуем может их две может их три и т.д мы ищем некую структуру кластеры. У вас группы известны заранее это классификация. Гуглите алгоритмы классификации, но увы датасет очень разбалансирован. То есть на много более вероятно, что студет в аудитории нежели гуляет, это будет осложнять обучение (если есть данные на чем обучаться и их в достаточном количестве). Если же обучение не пройдет тогда моделирование распределений его можно и на одних "допущениях" вывезти без данных.

[forced]

Максим Припадчев, вопрос... а как это обучение?? я вроде ну...
щас вот на фотках там я в метрах заполнил матрицу
т.е признак (измерение, дистанция в метрах) и элементы - на скрине их 10


типо и в вики тоже там формула чисто идет, без ML...


я может о чем-то другом говорю? просто если задача решается только через применение нейросети, то она мне не подходит.

[Максим Припадчев]

forced, Нет это нейронные сети. Вы собираетесь в ручную считать не средствами языка программирования? все эти алгоритмы есть в библиотеках и в ручную никто ничего не делает. Мне ваша таблица не о чем не говорит, я все делаю средствами языка программирования и работаю с ними.

Answer 2

[Vindicar]

Т.е. ты ищешь выбросы (outliers) в данных? Ну вот в этом направлении и гугли. Можно начать с чего-то попроще, скажем, доверительного интервала.
Или другой подход: если у тебя есть примеры таких наборов данных (а их надо иметь! вслепую много не напишешь), то ты можешь оценить закон распределения расстояний. Например, будет ли распределение похоже на нормальное (гауссово)? Если будет то можно будет оценить параметры распределения (среднее и дисперсию), и для каждого из значений оценить его вероятность. Например, значение, близкое к среднему, будет иметь высокую вероятность, а далёкое от среднего - низкую. Тогда можно будет по некоторому выбранному порогу отсекать "маловероятные" значения.
Но это будет работать только для достаточно больших групп, хотя бы несколько десятков человек. Для трёх с половиной человек результаты будут очень неточными.

Comments

[forced]

у меня идеально под это вписывается задача. таких человек в среднем от 20 до 90 в каждом расчете

[Максим Припадчев]

confidence intervals это про степень уверенности что определенный параметр модели лежит в определенном интервале.к детекции выбросов интервалы уверенности отношения не имеют, мы имеем модель будь то вероятностная модель или линейная регрессия какая нибудь, так вот в силу того что работаем мы с выборкой (sample), а не со всеми данными (population) то мы имеем интервалы уверенности относительно каждого параметра модели. Например простая линейная регрессия y = ax+b оценит два параметра a и b и по каждый будет в этом самом интервале уверенности, то же самое если модель вероятностная Normal, Uniform и т.д. А то о чем ты говоришь называется tolerance interval

Answer 3

[Dimonchik]

медиана

Comments

[forced]

а как именно она поможет в решении? можете объяснить пожалуйста, если не трудно
пока трудно понимаю.

[shurshur]

forced, медиана - это граница величины, при которой половина выборки имеет значение величины меньше границы, а половина - больше.

Более общий случай - перцентиль - где вместо половины выбирается указанный процент. Например, перцентиль 80% - это величина, ниже которой 80% выборки. Медиана - это перцентиль 50%.

Например, пусть у нас выборка сроков доставки посылок почтой. Допустим, 90% посылок доставляется за неделю, 8% - от недели до месяца, 1% от 1 месяца до 12, 1% не доставляется в пределах срока страхования посылок (потеряшки). Тогда перцентиль 90% - 1 неделя, 98% - месяц, 99% - 12 месяцев. А среднее время доставки при этом бесконечно - ведь некоторые посылки не доставляются вообще. Если даже выкинуть потеряшки или считать что они получили финальный статус доставки "потеряно" через 12 месяцев, то получится, что каждая задержавшаяся на год посылка вкладывает в срок доставки в средний показатель как минимум 52 посылки в 90% части выборки - очень прилично искажается среднее время доставки от каждой потеряшки.

Поэтому подобные показатели часто рассматривают с точки зрения перцентилей.

В примере из вопроса перцентиль 90% будет 8 метров, в то время как среднее может быть например 13.6 (если в 90% среднее 4 метра, а в 10% оставшихся у всех 100 метров, то 4*90+10*100=1360, делим на 100 и получаем 13.6).

[forced]

shurshur,
спасибо большое за объяснение!

сейчас еще раз перечитал определение медианы и примерно подумал, если мы распределим значения (ну вот эти метры) по возрастанию, сделаем медиану (поделим на 2 набора данных), то большинство это то, которое которое будет стоять слева от среднего значения, а меньшинство это справа

осталось понять, чтобы медиана охватило это большинство...
потому у меня есть еще запасной вариант - вычисляем среднее значение берем его за основу, поскольку оно хоть и подвержено вбросам, все равно более менее характеризует набор

вычисляем стандартное отклонение т.е показатель разброса данных
используя среднее значение, можем сделать выборку относительно нижней и верхней границы соответственно - x avg ± dispersion

[Максим Припадчев]

forced, медиана никогда не охватит большинство. Вы сортируете ваши данные 50% процентов данных будет меньше медианы а 50% процентов больше медианы. Большинство это про перцентили. Вы сортируете данные и например 80% данных меньше этого числа это 80 процентов перцентиль.

Хотя лично, как я наблюдаю вашу задачу она не явно задана (я не могу сказать что я ее понял), то перцентили тут не причем.

[forced]

shurshur, вижу вы дополнили комментарий. примерно понимаю как работают теперь перцентили. перцентиль от 90 взято не просто так? полагаю что он связан с 8м как верхней границей, но почему именно 90...

[shurshur]

forced, ну вот потому и советуют медиану, так как во многих отношениях она лучше отражает ситуацию. Например, в статистиках о зарплате часто указывают отдельно среднюю и медианную - и если они сильно расходятся, значит, есть перекосы или в получающих особенно много, или в получающих особенно мало.

Как правильно тут поступать я не очень понимаю, так как в матстатистике всегда разбирался не очень хорошо и за экзамен по ней получил когда-то тройку. Мне самому обычно приходилось решать узкие проблемы "выяснить что-то один раз", поэтому я, например, перебирал порог перцентиля вручную, пока он не подскакивал резко особенно сильно - тут и было видно, где начинается нетипичное меньшинство.

[forced]

Максим Припадчев, да... с выражением мыслей это косяк. постараюсь объяснить:

есть помещение. в этом помещении есть 1 точка, от которой на неизвестном расстоянии удалены люди (в задача, для примера, верхняя граница этого расстояния - 8м, а нижняя - 1м)
я не знаю точно этого набора данных от 90 человек, но могу сказать что большинство из них
будут в пределах от этой точки от 1м до 8м
но в тоже время есть и несколько (от 0 и более) людей, которые удалены от этой точки не на 8м, а на 10, 15, 50 и т.д.

задача именно получить на руки одно множество (большинство) и второе (меньшинство)

[forced]

т.е как я понимаю тут динамически вычислять эту историю не получится... если б эта задача решалась один раз, это хорошо, но она должна вычисляться при каждом запросе после получения этого самого набора данных

и предполагается что далеко не всегда эта верхняя граница = 8м, она может быть и больше. главное мне нужно отделить мух от котлет и чем точнее, тем, конечно, лучше )

[Максим Припадчев]

forced, Хорошо, я сейчас отвечу на ваш вопрос, но мой ответ вас не обрадует, а скорее запутает.

[Dimonchik]

с выражением мыслей это косяк.

forced, правильно заданный вопрос - половина ответа

я потому не заморачивался с что тебе надо, потому что ничего не понял

но медиана - универсальный инструмент

"перцентиль 90" - от фонаря, берут под задачу - бьют пополам (медиана), на 4, на 5 (парето типа), на 10, на - по некой граничной/заданной величине - что она отделяет так и смотрят (например 40 градусов - кому выше - некрологи, кому ниже - жаропонижающие, ну или по морде - если это водка а не температура),

короче, учись формулировать окружающий мир в математические термины - само начнет получаться

Answer 4

[forced]

Спасибо всем откликнувшимся за помощь!
Полез искать про распределения. Думаю, дальше справлюсь сам. Мне нужен был вектор в понимании решении подобных задач - основная проблема в обучении математики.

Answer 5

[mayton2019]

Почитай по ключевому слову - Кластеризация.